西瓜书学习笔记二 假设空间 机器学习周志华

1.3 假设空间

        归纳(induction) 与演绎(deduction)是科学推理的两大基本手段。前者是从特殊到一般的"泛化" (generalization) 过程，即从具体的事实归结出一般性规律;后者则是从一般到特殊的"特化" (specialization)过程，即从基础原理推演出具体状况。例如，在数学公理系统中，基于一组公理和推理规则推导出与之相洽的定理，这是演绎；而"从样例中学习"显然是一个归纳的过程，因此亦称 "归纳学习" (inductive learning)。

        归纳学习有狭义与广义之分，广义的归纳学习大体相当于从样例中学习， 而狭义的归纳学习则要求从训练数据中学得概念(concept) ，因此亦称为"概念学习"或"概念形成"。概念学习中最基本的是布尔概念学习，即对"是" "不是"这样的可表示为 0/1 布尔值的目标概念的学习。

例如我们获得了一个这样的训练数据集：

         这里要学习的目标是"好瓜"。暂且假设"好瓜"可由"色泽" "根蒂" "敲声"这三个因素完全确定，换言之，只要某个瓜的这三个属性取值明确了， 我们就能判断出它是不是好瓜。于是，