[Mitchell 机器学习读书笔记]——概念学习、偏序结构

         从特殊的训练样例中归纳出一般函数式机器学习的中心问题。为了获得一个合适的假设，需要在假设空间上搜索以便得到结果，而假设空间本身形成一种自然的结构——即一般到特殊的特殊偏序结构。

 1、简介

         许多机器学习问题涉及到从特殊训练样例中得到一般概念。比如日常生活中学习到的一些概念和类别包括：鸟类、汽车、勤奋的学习等。如果给定一样例集合以及每个样例是否属于某一概念的标注，怎样自动推断出该概念的一般定义，这一问题称为概念学习（concept learning）。

          概念学习的 定义：概念学习是指从有关某个布尔函数的输入输出训练样例中推断出该布尔函数。

 2、概念学习任务

          考虑一个例子，本例的目标概念是：”A进行水上运动的日子“。表1描述了一系列日子的样例，每个样例表示为属性的集合，属性EnjoySport表示这一天A是否乐于进行水上运动。这个任务的目的是基于某天的各属性推测出该天EnjoySport的值。

          

         先考虑一个较为简单的形式，即实例的各属性约束的合取式。令每个假设是一个具有6种约束的向量，这些约束指定了属性Sky,AirTemp,……,Forecast的值。每个属性可取值为：

• 由”？“表示本属性任意可接受的值；
• 明确指定的属性值（如Warm）；
• 由”∅“表示不接受任何值。

        如果某些实例x满足假设h的所有约束，那么h将x分类为正例(h(x) = 1)。假设A只在寒冷和潮湿的日子进行水上运动（并且与其他属性无关），这样的假设可以表示为：

       <?,cold,high,?,?,?>

       总之，EnjoySport这个概念学习任务需要学习的是使EnjoySport = yes的日子，并将其表示为属性约束的合取式。任何概念学习任务能被描述为：实例的集合、实例集合上的目标函数、候选假设的集合以及训练样例的集合。

      术语解释：

      X：实例集合

      c：待学习的概念或目标概念，实例集X上的任意布尔函数，即c:X->{0,1}

      

      一旦给定目标概念c 训练样例集，学习器面临的问题就是假设或估计c。使用H来表示所有可能假设的集合，H中每个假设h表示X上定义的布尔函数，即h:X->{0,1}。机器学习的目标是寻找一个假设h，使对于X中的所有x,h(x)=c(x)。

      归纳学习假设：任一假设如果在足够大的训练样例集中很好地逼近目标函数，它也能在未见实例中很好的逼近目标函数。