16、深度概率学习算法解析

深度概率学习算法解析

1. 朴素贝叶斯算法

朴素贝叶斯是一种概率学习算法。在贝叶斯分类器中，输入向量属于某类别的似然性是通过该输入向量在代表该类别的正态分布中的概率来计算的。而在朴素贝叶斯中，单个属性值属于某类别的似然性是通过具有该属性值的训练示例数量与该类别中训练示例数量的比率来计算的。假设属性值之间相互独立，输入向量的似然性是其各个元素似然性的乘积。

1.1 概率计算

• 属性独立性假设 ：若两个事件A和B相互独立，则它们同时发生的概率为 (P(AB) = P(A)P(B))。
• 输入向量似然性 ：设属性为 (A_1, A_2, \cdots, A_d)，每个属性有离散值，可看作一个值的集合 (A_i = {v_{i1}, v_{i2}, \cdots, v_{i|A_i|}})。输入向量为 (\mathbf{x} = [x_1 x_2 \cdots x_d])，则输入向量 (\mathbf{x}) 给定类别 (C) 的似然性为 (P(\mathbf{x}|C) = \prod_{i=1}^{d} P(x_i|C))。

1.2 分类过程

1.2.1 计算单个值的似然性

已知预定义的类别为 (c_1, c_2, \cdots, c_M)，输入向量为 (d) 维向量 (\mathbf{x} = [x_1 x_2 \cdots x_d])。单个属性值 (x_i) 给定类别 (c_j) 的概率 (P(x_i|c_j)) 计算公式为：
[P(x_i|c_j) = \frac{P(x_i