2、概率分布：从基础到应用的全面解析

概率分布：从基础到应用的全面解析

1. 引言

概率理论在模式识别问题的解决中起着核心作用。本文将探讨一些特定的概率分布及其性质，这些分布不仅本身具有重要意义，还可作为构建更复杂模型的基础。同时，我们将通过这些分布讨论一些关键的统计概念，如贝叶斯推断。

2. 二元变量

2.1 伯努利分布

考虑一个二元随机变量 (x \in {0, 1})，例如抛硬币的结果，(x = 1) 表示正面，(x = 0) 表示反面。设 (p(x = 1|\mu) = \mu)，其中 (0 \leq \mu \leq 1)，则 (p(x = 0|\mu) = 1 - \mu)。概率分布可写为：
[Bern(x|\mu) = \mu^x(1 - \mu)^{1 - x}]
该分布满足归一化条件，其均值和方差分别为：
[E[x] = \mu]
[var[x] = \mu(1 - \mu)]

2.2 最大似然估计

给定数据集 (D = {x_1, \ldots, x_N})，似然函数为：
[p(D|\mu) = \prod_{n = 1}^{N} p(x_n|\mu) = \prod_{n = 1}^{N} \mu^{x_n}(1 - \mu)^{1 - x_n}]
在频率学派的框架下，通过最大化似然函数或其对数来估计 (\mu)。对数似然函数为：
[\ln p(D|\mu) = \sum_{n = 1}^{N} \ln p(x_n|\mu) = \sum_{n = 1}^{N} {x_n \ln \mu + (1 - x_n) \ln(1 - \mu)}]
令对