机器学习基础(2) 概率论基础

机器学习基础(2) 概率论基础

概率密度函数

贝叶斯决策理论

*注意：以下小写$p$表示概率密度函数，大写的$P$表示概率。

引入随机变量后，以下是在二元的概率分布中对各钟概率的定义
条件概率（conditional probability）：表示在另外一个随机满足某个条件时，一个随机变量满足某一条件的概率。条件概率记作 $P(X = x_i| Y = y_i)$。
联合概率（conditional probability）：表示两个个随机变量分别满足各自条件的概率。联合概率记作 $P(X = x_i, Y = y_i)$。
边缘概率（marginal mrobability ）：表示在一个随机变量满足某一条件的概率，与其他变量无关。边缘概率记作$P(X = x_i)$
贝叶斯定理（Bayes’ theorem）： 后验概率 = (相似度*先验概率)/标准化常量。
也就是说，后验概率与先验概率和相似度的乘积成正比。

$$P(Y = y_i |X = x_i) = \frac{P(X = x_i|Y = y_i) P(Y = y_i)}{P(X = x_i)} = \frac{P(X = x_i|Y = y_i) P(Y = y_i)}{\sum_{j}P(X = x_i | Y= y_j)P(Y = y_j)}$$

例1： 手写识别，对输入的字母进行识别分类（a或b）。
先验概率（prior probability）：是指根据以往经验和分析得到的概率。例如：类别$k$的概率记作 $p(C_k)$.
似然函数（likelihood）：用来描述已知随机变量输出结果时，未知参数的可能取值。例如：已知类别为$k$的情况下，数据的测量值为$x$的概率记作 $p(x|C_k)$.
后验概率（posterior probability ）：是指在得到“结果”的信息后重新修正的概率。例如：已知测量值为$x$的情况下，预测类别为$k$的概率记作 $p(C_k|x)$