先验概率, 后验概率, 似然函数, 证据因子

先验概率, 后验概率, 似然函数, 证据因子

理论

假设有变量\(x​\)和\(y​\), \(x​\)表示特征, \(y​\)表示我们关心的变量, 可以是分类变量或者连续变量. 那么, 关于\(y​\)的先验概率为\(p(y)​\), 关于\(y​\)的后验概率为\(p(y|x)​\), 似然函数为\(p(x|y)​\), 证据因子\(p(x)​\), 根据全概率公式和贝叶斯公式可以得到它们之间的关系, 预先假设\(y​\)有\(m​\)种取值:
\[ \begin{align} p(y_i|x) &= \frac{p(x,y_i)}{p(x)} \nonumber \\ &= \frac{p(x|y_i)p(y_i)}{p(x)} \nonumber\\ &= \frac{p(x|y_i)p(y_i)}{\sum_{j=1}^{m}{p(x|y_j)p(y_j)}}, (1 \leq i \leq m) \tag{1} \end{align} \]
根据训练样本(包含特征和类别), 无法直接求出后验概率, 后验概率需要通过似然函数和先验概率间接求得.

注意: 这里的先验概率和后验概率是相对的, \(p(x)\)也可以是先验概率, \(p(x|y)\)为后验概率, 只是相对于\(x​\)而已.

例子

假设\(x\)表示特征, 特征取值范围有: \(\{阴天, 晴天\}\), \(y\)表示分类, 取值范围有: \(\{下雨, 不下雨\}\). 现在我们根据"是否阴天"这个随机变量\(x\)的观测样本数据(特征样本), 来判断是否会下雨.

根据历史经验估计,

• 下雨的概率为20%, 可得到先验概率\(p(y=下雨)=0.2\)

• 阴天时下雨的概率为70%, 可得到后验概率为\(p(y=下雨|x=阴天) = 0.7\)

根据现有训练样本可以求得:

• 下雨表现为阴天的概率记为\(p(x=阴天|y=下雨)\), 可以解释如下: 下雨表现为阴天的可能性(likelihood)
• 估计的先验概率

参考

先验概率、似然函数、后验概率、贝叶斯公式

转载于:https://www.cnblogs.com/ouyxy/p/10610924.html