47、概率中的均值、方差、协方差及标准化

概率中的均值、方差、协方差及标准化

在概率统计领域，有几个关键的概念对于理解和描述随机变量的分布特征至关重要，它们分别是均值、方差、协方差以及标准化。下面我们将详细探讨这些概念。

1. 均值、方差和协方差

1.1 均值

对于某些特定的函数 (f[\cdot])，其期望会有特殊的名称。当 (f[x] = x) 时，得到的期望 (E[x]) 被称为均值，记为 (\mu)。均值是衡量分布中心位置的一个指标。例如，在一个班级学生的考试成绩分布中，均值可以反映出这个班级的整体成绩水平。

1.2 方差

期望的平方偏差 (E[(x - \mu)^2]) 被称为方差，记为 (\sigma^2)。方差用于衡量分布的离散程度。如果方差较大，说明数据点相对均值较为分散；反之，如果方差较小，则数据点相对集中在均值附近。标准差 (\sigma) 是方差的正平方根，它同样用于衡量分布的离散程度，但优点是其单位与变量 (x) 相同。

1.3 协方差

两个变量 (x) 和 (y) 的协方差 (E[(x - \mu_x)(y - \mu_y)]) 衡量了它们共同变化的程度，其中 (\mu_x) 和 (\mu_y) 分别是 (x) 和 (y) 的均值。当两个变量的方差都较大，并且 (y) 值增加时 (x) 值也倾向于增加时，协方差会较大。

需要注意的是，如果两个变量相互独立，那么它们的协方差为零。但协方差为零并不意味着两个变量相互独立。例如，考虑一个概率分布 (Pr(x, y))，其概率均匀分布在以 (x)、(y) 平面原点为中心、半径为 1 的圆上。平均而言，当 (y) 增加时 (x) 并没有增加的趋势