7、概率与图论基础：概念、性质与应用

概率与图论基础：概念、性质与应用

1. 概率理论中的方差与相关不等式

在概率理论中，随机变量 (X) 的期望 (IE[X]) 能告诉我们 (X) 的均值，但它无法体现 (X) 偏离该均值的程度。为了衡量这种偏离，我们引入了方差的概念。

方差的定义为：(VVar[X] = IE[(X - IE[X])^2])，它表示 (X) 与期望的平方差的期望，反映了 (X) 的值在期望值周围的分散程度。方差还有另一种等价形式：(VVar[X] = IE[X^2] - (IE[X])^2)。

当 (X) 和 (Y) 相互独立时，有 (VVar[X + Y] = VVar[X] + VVar[Y])。并且，方差与随机变量呈二次函数关系，即 (VVar[a \cdot X + b] = a^2VVar[X])。

为了更直观地衡量 (X) 与期望值的偏离，我们引入了标准差的概念，标准差 (\sigma_X = \sqrt{VVar[X]})。通常情况下，(X) 的值不太可能偏离期望值超过几个标准差。

以高斯分布为例，若随机变量 (X) 服从高斯分布 (N(\mu, \sigma^2))，则 (IE[X] = \mu) 且 (VVar[X] = \sigma^2)。从高斯分布的形式可以看出，(X) 的值的密度随着与期望值的距离 ( \frac{x - \mu}{\sigma} ) 呈指数级快速下降。

不过，并非所有分布都有如此快速的下降趋势。但对于任意分布，都存在概率下降的情况，这可以通过切比雪夫不等式来描述：

切比雪夫不等式：(P(|X - IE[X]| \geq t) \leq \frac{VVar[X]}{t^2})