判别式模型与生成式模型的区别

判别式模型与生成式模型的区别

产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念，它们的区别在于：

对于输入x，类别标签c：
产生式模型估计它们的联合概率分布P(x,c)=P(x|c)×P(c)，实际估计P(x|c)，求得P(x,c)=P(x|c)×P(c)
判别式模型估计条件概率分布P(c|x)

产生式模型可以根据贝叶斯公式得到判别式模型，但反过来不行。

Andrew Ng在NIPS2001年有一篇专门比较判别模型和产生式模型的文章：
On Discrimitive vs. Generative classifiers: A comparision of logistic regression and naive Bayes
(http://robotics.stanford.edu/~ang/papers/nips01-discriminativegenerative.pdf)

判别式模型常见的主要有：

　 Logistic Regression
　　　　SVM
　　　　Traditional Neural Networks
　　　　Nearest Neighbor
　　　　CRF
　　　　Linear Discriminant Analysis
　　　　Boosting
　　　　Linear Regression

产生式模型常见的主要有：

Gaussians, Naive Bayes, HMMs
Sigmoidal Belief Networks, Bayesian Networks
Markov Random Fields
Latent Dirichlet Allocation

参考资料：
http://bbs.sciencenet.cn/blog-484653-442300.html
http://www.leexiang.com/discriminative-model-and-generative-model
http://blog.163.com/huai_jing@126/blog/static/1718619832011227757554/