生成模型（Generative）和判别模型（Discriminative）

最新推荐文章于 2024-09-11 11:04:05 发布

原创

最新推荐文章于 2024-09-11 11:04:05 发布 · 5.3k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#生成模型 #判别模型 #Generative Model #Discriminative Model

本文探讨生成模型（Generative）和判别模型（Discriminative）在监督学习中的差异。生成模型学习数据的联合分布，能反映数据相似度，但不关注分类边界；判别模型直接学习决策函数，追求高准确率，适用于分类问题。举例说明中，生成模型类似于学习所有语言来识别语音，而判别模型仅学习语言之间的差异。在跟踪算法中，生成模型用于模式匹配，判别模型寻找决策边界。

生成模型（Generative）和判别模型（Discriminative）

引言

最近看文章《A survey of appearance models in visual object tracking》（XiLi，ACMTIST，2013），在文章的第4节第1段有这样的描述，“Recently,visualobject tracking has been posed as a tracking-by-detection problem, where statistical modeling is dynamically performed to support object detection. According to the model-construction mechanism, statistical modeling is classified into three categories, including generative, discriminative, and hybrid generative-discriminative.”随后又再以前看的《Fast Compressive Tracking》（Kaihua Zhang，PAMI，2014）的第2节第1段找到相应的话，“Recent surveys of object tracking can be found in [22]-[24],In this section, we briefly review the most relevant literature of on-line object tracking. In general,tracking algorithms can be categorized as either generative ordiscriminative based on their appearance models.”类似还有很多，每次看到都会有点模糊，感觉心中没底，所以就找了些资料总结了下，有不对的地方还请大家指正。

2. 概念

监督学习的任务就是学习一个模型，应用这一模型，对给定的输入预测相应的输出。这个模型一般形式为决策函数Y=f(X)或者条件概率分布P(Y|X)。可以参考《机器学习方法概论1》、《机器学习方法概论2》来进行系统的理解。其中这个模型的分类有很多种，有一种分类就把模型分为：Generative Modeling （生成模型）和Discriminative Modeling （判别模型）两种，后面简称GM和DM。GM是由训练数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测