48、正态概率分布与抽样方法详解

正态概率分布与抽样方法详解

1. 常见概率分布与正态分布概述

在众多概率分布中，如伯努利分布、分类分布、泊松分布、冯·米塞斯分布以及高斯混合分布等，机器学习里最常用的是正态（高斯）分布。

2. 单变量正态分布

2.1 定义

单变量正态分布（图 5.3）作用于标量变量 $x$，有两个参数：均值 $\mu$ 和方差 $\sigma^2$，其定义为：
[Pr(x) = Norm_x[\mu, \sigma^2] = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left[-\frac{(x - \mu)^2}{2\sigma^2}\right].]（C.21）

2.2 均值与方差

正态分布变量的均值 $E[x]$ 就是参数 $\mu$，方差 $E[(x - E[x])^2]$ 则是参数 $\sigma^2$。当均值为 0 且方差为 1 时，称为标准正态分布。

2.3 分布形状

• 表达式中的 $-\frac{(x - \mu)^2}{2\sigma^2}$ 是一个二次函数，当 $x = \mu$ 时为 0，且 $\sigma$ 越小时，其值远离 0 的速率越快。
• 通过指数函数处理后得到钟形曲线，在 $x = \mu$ 处值为 1，向两侧逐渐减小。
• 除以常数 $\sqrt{2\pi\sigma^2}$ 确保函数积分值为 1，使其成为有效的概率分布。
• 均值 $\mu$ 控制钟形曲线的中心位置，方差的平方根 $\sigma$（即标准差）控制钟形曲线的宽度。