机器学习数学原理（3）——生成型学习算法

机器学习数学原理（3）——生成型学习算法

在上一篇博文中我们通过广义线性模型导出了针对二分类的Sigmoid回归模型以及针对多项分类的Softmax回归模型，需要说明的是，这两种算法模型都属于判别学习算法，而这篇博文主要分析了与之区别的生成型学习算法。生成型学习算法与判别学习算法虽然在结论上有很多相同的地方（从后面的分析中我们甚至可以发现生成学习算法也可以导出Sigmoid回归模型！），但是他们两者之间依然存在着本质的不同。

1 生成型学习算法介绍

1.1 贝叶斯公式

在介绍生成型学习算法之前笔者首先介绍一下贝叶斯公式：

这个公式不难理解，我们可以使用下面的图片来理解：

从上图我们可以发现其实在整个概率空间求p(x)与p(y)的交集概率可以得到如下公式：

p(x|y)p(y)=p(y|x)p(x)

将p(x)除过去便成为了贝叶斯公式。

1.2 生成学习算法

生成型学习算法（Generative Learning Algorithm）是对同一类的数据进行特征的概率分布建模，即假如现在有A(y=1)<