生成模型和判别模型

监督学习的结果是得到一个分类或预测模型，应用该模型可以对给定输入$X$得到相应的输出$Y$,即：

$$Y=f(X)$$ 或者 $$P(Y|X) \ \ (根据不同类对应的后验概率判断所属类别)$$
根据模型是否表示了$X$到$Y$的生成过程将模型分为两种，生成方式、判别方式。
生成模型 $$P(Y|X)=\frac {P(X,Y)}{P(X)}$$ 如朴素贝叶斯法、隐马尔科夫模型

判别模型直接由输入数据$X$学习判别函数$f(X)$或条件概率$P(Y|X)$.如决策树、K近邻。。。
注：DBN、基于Denoise autoencoder的模型预训练都是生成式的，逐层BP、贪婪式的逐层BP预训练都是判别式的。