6、概率模型中的常见分布及应用

概率模型中的常见分布及应用

在概率模型的领域中，有多种重要的分布发挥着关键作用。下面将详细介绍这些分布的特点、应用以及相关的技术细节。

1. 分类分布相关内容

1.1 Softmax分布

Softmax分布是一种常见的概率分布，其定义为：
[S(a) \triangleq \left[\frac{e^{a_1}}{\sum_{c’ = 1}^{C} e^{a_{c’}}}, \cdots, \frac{e^{a_C}}{\sum_{c’ = 1}^{C} e^{a_{c’}}}\right]]
它将(\mathbb{R}^C)映射到([0, 1]^C)，并且满足(0 \leq S(a) c \leq 1)和(\sum {c = 1}^{C} S(a)_c = 1)的约束条件。输入到Softmax的(a = f(x; \theta))被称为对数几率（logits），是对数优势的推广。

Softmax函数有点像argmax函数。当我们将每个(a_c)除以一个称为温度（temperature）的常数(T)时，随着(T \to 0)，有：
[S(a/T) c = \begin{cases}
1.0 & \text{if } c = \arg\max {c’} a_{c’} \
0.0 & \text{otherwise}
\end{cases}]
这意味着在低温时，分布将大部分概率质量集中在最可能的状态（即胜者全得），而在高温时，概率质量均匀分布。

下面用mermaid流程图展示Softmax分布随温度变化的特点：