生成式与判别式的区分

生成式与判别式

区别

二者的区别主要就是由于一个是***联合概率分布P(x,y)***，另一个估计***条件概率分布P(y|x)***，而生成式模型能够根据贝叶斯公式得到判别式模型也是根据公式而来。联合概率分布，则是特征值对应某标签的概率，现在要判断一个特征值对应的标签，根据联合概率，只能算出其对应各标签的概率值，而只有通过比较全部的值才能知道属于哪个标签；而条件概率分布则是输入特征直接出来对应的标签值。

特点

生成式特点
对联合概率建模，学习所有分类数据的分布。
学习到的数据本身信息更多，能反应数据本身特性。
学习成本较高，需要更多的计算资源。
需要的样本数更多，样本较少时学习效果较差。
推断时性能较差。
一定条件下能转换成判别式。

判别式特点
对条件概率建模，学习不同类别之间最优边界。
捕捉不同类别特征的差异信息，不学习本身分布信息，无法反应数据本身特性。
学习成本较低，需要的计算资源较少。
需要的样本数可以较少，少样本也能很好学习。
预测时拥有较好性能。
无法转换成生成式。

典型例子

常见的判别式模型有：
Logistic regression（logistical 回归）
Linear discriminant analysis（线性判别分析）
Supportvector machines（支持向量机）
Boosting（集成学习）
Conditional random fields（条件随机场）
Linear regression（线性回归）
Neural networks（神经网络）

常见的生成式模型有:
Gaussian mixture model and othertypes of mixture model（高斯混合及其他类型混合模型）
Hidden Markov model（隐马尔可夫）
NaiveBaye