Discriminative, Generative and Imitative Learning

1. Generative Model（生成模型）

    1）生成模型学习联合概率分布 p(x,y)；给定一个y，则可以计算（“生成”）其相应的X。

         

    2）可通过Baye规则转换为p(y|x)<即p(y|x)= p(x,y)/p(x)=p(x|y)p(y)/p(x)>，然后进行分类。p(x,y)也可用于其它目的，如可用p(x,y)产生可能的(x,y)对。

    3）为了分类一个信号，要分析数据是如何生成的。它的问题是：基于我的生成假设，哪个类最有可能产生此信号。

    4）把一段语音进行语言分类：需要学习每种语言，然后根据学到的知识进行分类。

2. Discriminative Model (判别模型)

    1）判别模型学习条件概念分布p(y|x)。又可以称为条件模型

         

    2）p(y|x)：表示给定样本x属于类别y的概率。

    3）不管数据是如何生成的，只是简单地把给定的信号进行分类。

    4）把一段语音进行语言分类：不学习任何语言，只是确定语言模型的差异，然后进行分类。

   在分类任务中，判别模型优于生成模型。

3. 生成模型与判别模型的比较

    

       

     

    

   

     

     

4. 机器学习作为搜索假设空间

       方法                            搜索假设空间

     Concept Learning          Boolean Expressions
     Decision Trees               All Possible Trees
     Neural Networks            Weight Space