方差的理解

原创于 2025-03-25 10:06:53 发布 · 1.8k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#概率论

方差是统计学中的一个概念，用来衡量一组数据的波动程度。它表示数据与平均值（均值）之间的离散程度，方差越大，说明数据的波动性越大；方差越小，说明数据越接近平均值。

方差的计算公式

设有一组数据：

x1,x2,...,xnx_1, x_2, ..., x_nx1,x2,...,xn

求均值（平均值）：
μ=x1+x2+...+xnn\mu = \frac{x_1 + x_2 + ... + x_n}{n}μ=nx1+x2+...+xn
计算每个数据与均值的差，并平方：
(x1−μ)2,(x2−μ)2,...,(xn−μ)2(x_1 - \mu)^2, (x_2 - \mu)^2, ..., (x_n - \mu)^2(x1−μ)2,(x2−μ)2,...,(xn−μ)2
求平均值（总体方差 σ2\sigma^2σ2）：
σ2=(x1−μ)2+(x2−μ)2+...+(xn−μ)2n\sigma^2 = \frac{(x_1 - \mu)^2 + (x_2 - \mu)^2 + ... + (x_n - \mu)^2}{n}σ2=n(x1−μ)2+(x2−μ)2+...+(xn−μ)2

如果数据是样本（而不是总体），通常使用样本方差：

s2=(x1−xˉ)2+(x2−xˉ)2+...+(xn−xˉ)2n−1s^2 = \frac{(x_1 - \bar{x})^2 + (x_2 - \bar{x})^2 + ... + (x_n - \bar{x})^2}{n-1}s2=n−1(x1−xˉ)2+(x2−xˉ)2+...+(xn−xˉ)2

这里用 xˉ\bar{x}xˉ 代替 μ\muμ，n−1n-1n−1 作为分母是为了减少误差（无偏估计）。

示例

假设你有 5 个数据：2、4、6、8、10，计算它们的方差：

计算均值：
μ=2+4+6+8+105=6\mu = \frac{2+4+6+8+10}{5} = 6μ=52+4+6+8+10=6
计算每个数据与均值的偏差平方：
(2−6)2=16,(4−6)2=4,(6−6)2=0,(8−6)2=4,(10−6)2=16(2-6)^2 = 16, \quad (4-6)^2 = 4, \quad (6-6)^2 = 0, \quad (8-6)^2 = 4, \quad (10-6)^2 = 16(2−6)2=16,(4−6)2=4,(6−6)2=0,(8−6)2=4,(10−6)2=16
计算方差：
σ2=16+4+0+4+165=405=8\sigma^2 = \frac{16 + 4 + 0 + 4 + 16}{5} = \frac{40}{5} = 8σ2=516+4+0+4+16=540=8

所以，这组数据的方差是 8。

简单理解

方差大：数据波动大，差异明显（如 1、10、20）。
方差小：数据集中，差异较小（如 5、5.1、5.2）。

你可以试着自己算一下其他数据的方差，如果有问题可以问我！

您说：

怎么理解方差大，方差小，和数据本身又相关性吗？比如 1000 左右波动的数据的方差一定会比 10左右大小波动的方差大吗

ChatGPT 说：

方差的大小确实与数据的数值范围有关，但并不是绝对的。让我们一步步分析：

1. 方差和数据的相关性

方差是数据与均值的偏差的平方的平均值，因此它反映了数据的波动程度（即数据的离散程度）。

如果数据的数值本身较大（比如在 1000 左右波动），那么它们的偏差往往也会较大，这通常会导致方差较大。
如果数据的数值较小（比如在 10 左右波动），那么它们的偏差往往较小，因此方差通常会较小。

但是，方差并不是由数据的大小决定的，而是由数据的相对波动范围决定的。如果数据的波动幅度相对均值来说很小，即使数据本身很大，方差也可能很小。

2. 反例：大数值数据也可能有小方差

假设我们有两组数据：

A 组（围绕 1000 波动）：998,999,1000,1001,1002998, 999, 1000, 1001, 1002998,999,1000,1001,1002
B 组（围绕 10 波动）：5,10,15,20,255, 10, 15, 20, 255,10,15,20,25

计算 A 组的方差

均值：
μA=998+999+1000+1001+10025=1000\mu_A = \frac{998+999+1000+1001+1002}{5} = 1000μA=5998+999+1000+1001+1002=1000
偏差平方：
(998−1000)2=4,(999−1000)2=1,(1000−1000)2=0,(1001−1000)2=1,(1002−1000)2=4(998 - 1000)^2 = 4, \quad (999 - 1000)^2 = 1, \quad (1000 - 1000)^2 = 0, \quad (1001 - 1000)^2 = 1, \quad (1002 - 1000)^2 = 4(998−1000)2=4,(999−1000)2=1,(1000−1000)2=0,(1001−1000)2=1,(1002−1000)2=4
方差：
σA2=4+1+0+1+45=105=2\sigma_A^2 = \frac{4+1+0+1+4}{5} = \frac{10}{5} = 2σA2=54+1+0+1+4=510=2

计算 B 组的方差

均值：
μB=5+10+15+20+255=15\mu_B = \frac{5+10+15+20+25}{5} = 15μB=55+10+15+20+25=15
偏差平方：
(5−15)2=100,(10−15)2=25,(15−15)2=0,(20−15)2=25,(25−15)2=100(5 - 15)^2 = 100, \quad (10 - 15)^2 = 25, \quad (15 - 15)^2 = 0, \quad (20 - 15)^2 = 25, \quad (25 - 15)^2 = 100(5−15)2=100,(10−15)2=25,(15−15)2=0,(20−15)2=25,(25−15)2=100
方差：
σB2=100+25+0+25+1005=2505=50\sigma_B^2 = \frac{100+25+0+25+100}{5} = \frac{250}{5} = 50σB2=5100+25+0+25+100=5250=50

结果：

A 组（1000 附近波动）的方差是 2
B 组（10 附近波动）的方差是 50

尽管 A 组的数值远远大于 B 组，但它的方差反而更小，因为 A 组的数据更集中，而 B 组的数据分布更分散。

3. 结论

方差的大小取决于数据的相对波动程度，而不是数据本身的数值大小。

如果一组数据集中在某个数值附近，哪怕数据本身很大，方差也可能很小。
如果一组数据分散得很开，即使数据本身很小，方差也可能很大。

如果你要比较不同数量级的数据的波动程度，通常使用标准化的度量，比如变异系数（Coefficient of Variation, CV）：

CV=σμCV = \frac{\sigma}{\mu}CV=μσ

它表示数据的标准差占均值的比例，更适用于不同尺度的数据的比较。

您说：

为何要多偏差进行平方，不做平方的话，他们的和会是多少，和均值什么关系。

ChatGPT 说：

1. 为什么要对偏差进行平方？

在计算方差时，我们对数据与均值的偏差 (xi−μ)(x_i - \mu)(xi−μ) 进行平方，主要有以下几个原因：

防止正负抵消
如果不平方，而是直接求所有数据与均值的偏差之和，即：
∑(xi−μ)\sum (x_i - \mu)∑(xi−μ)
由于均值 μ\muμ 是数据的平均值，那么所有数据点与均值的偏差（正的和负的）会相互抵消，结果总是0。这无法真正衡量数据的波动性。
强调更大的偏差
由于平方会放大较大的偏差，它让数据的波动性更加明显。例如：
- 如果数据是 10,11,1210, 11, 1210,11,12（偏差较小），平方后仍然较小。
- 如果数据是 10,20,3010, 20, 3010,20,30（偏差较大），平方后放大效果更明显。
保证数学可用性
- 绝对值 ∣xi−μ∣|x_i - \mu|∣xi−μ∣ 也是一种可能的计算方式（即平均绝对偏差，Mean Absolute Deviation, MAD），但在数学运算中不太方便，特别是求导时不连续，不适合用于统计学的推导。
- 平方偏差的形式符合均方误差（MSE）和正态分布等数学理论，使得统计推断更容易处理。

2. 如果不平方，直接求偏差之和会是多少？

如果不做平方，直接计算所有数据与均值的偏差之和：

∑(xi−μ)\sum (x_i - \mu)∑(xi−μ)

由于均值 μ\muμ 是所有数据的平均值，根据数学性质：

∑(xi−μ)=0\sum (x_i - \mu) = 0∑(xi−μ)=0

无论数据如何变化，这个总和永远是零！

举个例子

假设数据是：

x=[2,4,6,8,10]x = [2, 4, 6, 8, 10]x=[2,4,6,8,10]

计算均值：
μ=2+4+6+8+105=6\mu = \frac{2+4+6+8+10}{5} = 6μ=52+4+6+8+10=6
计算偏差：
2−6=−4,4−6=−2,6−6=0,8−6=2,10−6=42 - 6 = -4, \quad 4 - 6 = -2, \quad 6 - 6 = 0, \quad 8 - 6 = 2, \quad 10 - 6 = 42−6=−4,4−6=−2,6−6=0,8−6=2,10−6=4
偏差之和：
(−4)+(−2)+0+2+4=0(-4) + (-2) + 0 + 2 + 4 = 0(−4)+(−2)+0+2+4=0

**偏差之和总是零！**这就是为什么不能直接使用偏差之和来衡量数据的波动性。

3. 偏差之和和均值的关系

∑(xi−μ)=0\sum (x_i - \mu) = 0∑(xi−μ)=0

这个公式的数学意义是：
均值是数据的“平衡点”，数据点相对于均值的正偏差和负偏差总是相等的。

直观理解：

均值就像一个支点（平衡点），所有数据点围绕它对称分布，左边的负偏差和右边的正偏差相互抵消。
这就是为什么均值是“数据的中心”，而不是“数据的典型偏离值”。

4. 其他可能的度量方式

虽然平方是最常见的方式，但还有其他方法来衡量波动性：

平均绝对偏差（MAD）
1n∑∣xi−μ∣\frac{1}{n} \sum |x_i - \mu|n1∑∣xi−μ∣
- 直接对偏差取绝对值，而不是平方。
- 计算量较小，但不如方差在数学推导上便利。
标准差（Standard Deviation, σ\sigmaσ）
σ=∑(xi−μ)2n\sigma = \sqrt{\frac{\sum (x_i - \mu)^2}{n}}σ=n∑(xi−μ)2
- 方差的平方根，单位与数据本身一致，直观性更强。
变异系数（CV）
CV=σμCV = \frac{\sigma}{\mu}CV=μσ
- 用于比较不同尺度的数据波动情况。