31、概率统计知识详解

概率统计知识详解

1. 概率推理

概率推理聚焦于在已知一组随机变量的联合概率分布以及部分变量（证据）的情况下，求其余变量的条件分布。若已知一组随机变量的联合概率分布，以及某些变量集合 (e)（证据）的信息，概率推理着重于剩余变量 (x)（或其一个子集）的条件分布，即 (p(x|e))。当 (x) 的基数较大时，关注 (p(x|e)) 的摘要信息是很有价值的。通常的选择是 (x) 集合中每个变量的后验边缘分布，或者 (p(x|e)) 的最大后验概率配置。在概率图模型中，这些摘要信息一般可以借助诸如信念传播等消息传递过程来计算。

消息传递过程是一种依赖于在不同目标或单元之间传递消息的计算过程。例如，在某些概率图模型中，通过信念传播来推断所携带的概率信息。

2. 概率分布

• 混合分布 ：多个基本分布的线性叠加，也称为混合分布模型。
• 混合模型 ：将多个分布组合起来，用于对数据可能来自不同来源或具有不同行为（不同概率分布）的情况进行建模。整体分布形式为 (p(x) = \sum_{i}P_{i}p_{i}(x) = 1)，其中 (p_{i}(x)) 表示来源 (i) 的密度，(P_{i}) 是其混合比例。可以使用期望最大化算法将混合模型拟合到数据上。高斯混合模型就是一个典型的混合模型。
• 混合比例 ：在混合模型中，选择来源 (i) 的概率 (P_{i})，且 (\sum_{i}P_{i} = 1)。
• 混合密度网络（MDN） ：用于对条件