4、机器学习中的概率分布与抽样方法

机器学习中的概率分布与抽样方法

1. 方差与正态分布

在统计分析中，除了标准差，人们有时会使用另一个相关的值——方差。方差是标准差的平方，即标准差乘以自身。在某些计算中，方差使用起来更为方便。一般来说，方差大的曲线比方差小的曲线更分散。

正态分布在机器学习和其他领域中经常出现，因为它能自然地描述许多现实世界的观测结果。例如，测量某个地区成年公马的身高、向日葵的大小或果蝇的寿命，这些数据往往都呈现出正态分布的形状。

2. 离散分布

离散分布有多种类型，下面介绍两种常见的离散分布。
- 伯努利分布（Bernoulli Distribution）
- 伯努利分布是一种特殊且实用的离散分布，它只返回两个可能的值：0 和 1。抛硬币的结果（正面或反面）就是伯努利分布的一个常见例子。通常用字母 p 表示得到 1（比如正面）的概率。如果忽略硬币立起来这种特殊情况，得到正面和反面的概率之和为 1，那么得到 0（反面）的概率就是 1 - p。
- 由于伯努利分布只有两个值，我们可以用条形图来表示，而不像连续分布那样用线条和曲线。虽然对于抛硬币这样简单的情况使用分布的语言似乎有些小题大做，但好处是我们可以将其与生成分布值的库函数结合使用。我们可以将均匀分布、高斯分布或伯努利分布传递给函数，它会根据相应的概率返回一个值，这使得编程更加容易。
- 多项伯努利分布（Multinoulli Distribution）
- 伯努利分布只能返回两个可能值之一。但在一些实验中，可能会有更多的结果。例如，抛硬币只有正反两面，而掷一个 20 面的骰子则有 20 种可能的