判别式模型与生成式模型的区别



判别式模型与生成式模型的区别

产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念，它们的区别在于：

对于输入x，类别标签y：
产生式模型估计它们的联合概率分布P(x,y)
判别式模型估计条件概率分布P(y|x)

产生式模型可以根据贝叶斯公式得到判别式模型，但反过来不行。

判别式模型常见的主要有：

　　　　Logistic Regression逻辑回归

　　　　SVM 支持向量机

　　　　Traditional Neural Networks 传统神经网络

　　　　Nearest Neighbor 最近邻

　　　　CRF conditional random field 条件随机场

　　　　Linear Discriminant Analysis线性判别分析

　　　　Boosting 是一种提高任意给定学习算法准确度的方法

　　　　Linear Regression 线性回归

产生式模型常见的主要有：

                     

       Gaussians 高斯

       Naive Bayes 朴素贝叶斯

       Mixtures of Multinomials 混合多项式

       Mixtures of Gaussians 混合高斯

       Mixtures of Experts 混合专家

       HMMs 隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型

　　　　Sigmoidal Belief Networks, Bayesian Networks

　　　　Markov Random Fields 马尔可夫随机场

　　　　Latent Dirichlet Allocation潜在狄利克雷分布：文档主题生成模型

下面是他们的区别

	判别式模型（discriminative model）	产生式模型（generative model）
特点	寻找不同类别之间的最优分类面，反映的是异类数据之间的差异	对后验概率建模，从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度
区别(假定输入x, 类别标签y)	估计的是条件概率分布(conditional distribution) : P(y|x)	估计的是联合概率分布（joint probability distribution: P(x, y),
联系	由产生式模型可以得到判别式模型，但由判别式模型得不到产生式模型。
常见模型	– logistic regression – SVMs – traditional neural networks – Nearest neighbor	–Gaussians, Naive Bayes –Mixtures of Gaussians, Mixtures of experts, HMMs –Sigmoidal belief networks, Bayesian networks – Markov random fields
优点	1）分类边界更灵活，比使用纯概率方法或产生式模型更高级； 2）能清晰的分辨出多类或某一类与其他类之间的差异特征； 3）在聚类、viewpoint changes, partial occlusion and scale variations中的效果较好； 4）适用于较多类别的识别； 5）判别模型的性能比产生式模型要简单，比较容易学习。	1）实际上带的信息要比判别模型丰富； 2）研究单类问题比判别模型灵活性强； 3）模型可以通过增量学习得到； 4）能用于数据不完整（missing data）情况。
缺点	1）不能反映训练数据本身的特性。能力有限，可以告诉你的是1还是2，但没有办法把整个场景描述出来； 2）Lack elegance of generative: Priors, 结构, 不确定性； 3）Alternative notions of penalty functions, regularization, 核函数； 4）黑盒操作: 变量间的关系不清楚，不可视。	1) Tend to produce a significant number of false positives. This is particularly true for object classes which share a high visual similarity such as horses and cows； 2) 学习和计算过程比较复杂。
性能	较好（性能比生成模型稍好些，因为利用了训练数据的类别标识信息，缺点是不能反映训练数据本身的特性）	较差
主要应用	Image and document classification Biosequence analysis Time series prediction	NLP(natural language processing) Medical Diagnosis