【斯坦福---机器学习】复习笔记之生成学习算法

本讲大纲：

1.生成学习算法（Generative learning algorithm）
2.高斯判别分析（GDA，Gaussian Discriminant Analysis）
3.朴素贝叶斯（Naive Bayes）
4.拉普拉斯平滑（Laplace smoothing）

1.生成学习算法

判别学习算法（discriminative learning algorithm）:直接学习p(y|x)（比如说logistic回归）或者说是从输入直接映射到{0,1}.

生成学习算法（generative learning algorithm）:对p(x|y)（和p(y)）进行建模.

简单的来说，判别学习算法的模型是通过一条分隔线把两种类别区分开，而生成学习算法是对两种可能的结果分别进行建模，然后分别和输入进行比对，计算出相应的概率。

比如说良性肿瘤和恶性肿瘤的问题，对良性肿瘤建立model1（y=0），对恶性肿瘤建立model2（y=1），p(x|y=0)表示是良性肿瘤的概率,p(x|y=1)表示是恶性肿瘤的概率.

根据贝叶斯公式（Bayes rule）推导出y在给定x的概率为：

2.高斯判别分析

GDA是我们要学习的第一个生成学习算法.

GDA的两个假设：

• 假设输入特征x∈Rn，并且是连续值;
• p(x|y)是多维正态分布（multivariate normal distribution）;

2.1 多维正态分布
若x服