极大特殊假设算法，候选消除算法，决策树表示法

 极大特殊假设算法：

样本：

 

算法描述

1. 将h初始化为H中特殊的假设
2. 对每个正例x
      对h的每个属性ai
         如果x满足ai，那么不做任何处理
          否则将h中的ai替换为x满足的下一个更一般的假设
3. 输出假设h

 

 

算法应用
    最特殊的假设：   h = <Æ, Æ, Æ, Æ, Æ, Æ, Æ>
    经过第1个样本： h = <Sunny, Warm, Normal, Strong, Warm, Same>
    经过第2个样本： h = <Sunny, Warm, ?, Strong, Warm, Same>
    经过第3个样本： 不处理，Find-S忽略每一个反例。
    经过第4个样本： h = <Sunny, Warm, ?, Strong, ?, ?>

 

 

分析Find-S算法
    只得到假设空间中的一个假设，而且是极大特殊的那个。对含有噪声的数据无能为力。要求属性值和输出值都是离散的。

 

 

候选消除算法

算法描述

1. 变型空间VersionSpace<-包含H中所有假设的列表
2. 对每个训练样例<x, c<x>>
   从变型空间中移除所有h(x)!=c(x)的假设h
3. 输出 VersionSpace中的假设列表 

 

使用变型空间的候选消除算法

把G集合初始化为H中的极大一般假设

把S集合初始化为H中的极大特殊假设

对每个训练样例d，进行以下操作：

·如果d是正例

    ·从G中移去所有与d不一致的假设

    ·对S中每个与d不一致的假设s

        ·从S中移去s

        ·把s的所有的极小一般化式h加入到S中，其中h满足：h与d一致，而且G的某个成员比h更一般

        ·从S中移去所有这样的假设：它比S中另一假设更一般

·如果d是反例

    ·从S中移去所有与d不一致的假设

    ·对G中每个与d不一致的假设g

        ·从G中把移去g

        ·把g的所有极小特殊化式h加入到G中，其中h满足：h与d一致，而且S的某个成员比h更特殊

 

        ·从G中移去所有这样的假设：它比G中另一假设更特殊

 

 算法实例：

http://blog.youkuaiyun.com/yang_zhe_/article/details/50570914

 

决策树表示法

http://blog.youkuaiyun.com/HerosOfEarth/article/details/52347820