一张表说明判别模型和生成模型的区别与联系

类别	判别模型	生成模型
特点	在有限样本下建立判别函数，寻找不同数据间的最优分类面，目标是实现分类	首先建立样本的联合概率分布，再利用模型推理预测。要求已知样本无穷或尽可能的大
区别	估计条件概率分布$p(y|x)$	估计联合概率分布$p(x,y)$
联系	生成模型可推导出判别模型	判别模型无法得到生成模型
常见模型举例	ME/MEMM/CRF/LR/DT/NN…	NB/HMM/GMM/LDA/Restricted Boltzmann Machine…
优势	1.面向分类边界的训练，比使用纯概率方法高级 2.能清晰地分辨出类别之间的差异特征 3.可用于多类的学习和识别 4.判别模型比生成模型更简单，容易学习	1.面向整体的数据分布 2.能够反应同类数据本身的相似度 3.模型可以通过增量学习得到 4.可用于数据不完整的情况
劣势	1.不能反应类别本身的特性，只能用于类别识别 2.在训练时需要考虑所有数据的元组，数据量增大时，效率底下 3.缺乏灵活的建模工具和插入先验知识的方法。黑盒操作：变量之间的关系不可视	1.学习时需计算所有变量的联合概率，资源使用量大 2.分类性能不高。类别识别精度有限 3.学习和计算过程复杂
性能	较高	较低
NLP应用	所有序列标注和结构化学习	文本分类／词性标注等

引自：《NLP汉语自然语言处理原理与实践》郑捷