3、机器学习基础：简单任务与贝叶斯分类器解析

机器学习基础：简单任务与贝叶斯分类器解析

1. 简单机器学习任务

在机器学习领域，一个基础的任务是利用训练示例来诱导出分类器，进而对未来的示例进行分类。在20世纪80 - 90年代，将机器学习任务视为搜索的理念颇为流行。当时有多位先驱独立地形成了这种观点，其中Mitchell常被认为是首个推广基于搜索方法的人，而Michalski提出的AQ算法家族也具有很大影响力。Michalski、Carbonell和Mitchell编辑的论文集更是推动了这一领域的发展，塑造了整整一代研究者的思维方式。

为了巩固对知识的理解，有以下几方面的练习和思考：
- 练习 ：
1. 在滑动拼图游戏中，提出一个比文中更好的评估函数。
2. 对于给定的搜索树（如图1.8），确定爬山搜索算法访问这些搜索状态的顺序。
3. 假设在“馅饼”领域中，评估函数计算正确分类的训练示例的百分比。以表1.1中第二个正例的描述作为初始状态，手动模拟使用泛化和特化操作符的爬山搜索。
4. 计算在示例由十个布尔属性描述的领域中，实例空间的大小以及分类器空间的大小。
- 思考 ：
1. 在“馅饼”领域，如果每个实例空间的子集都能用不同的分类器表示，所有分类器的空间大小为2108。若只允许使用属性 - 值对的合取形式的分类器，搜索空间会缩小多少？
2. 思考“馅饼”领域中可能存在的噪声类型、噪声来源以及导致训练集不完美的其他问题。
3. 指出哪些领域中黑盒分类器不实用，哪些领域中这种局限性无关紧要。
4. 选取一个难以描述的类别，如复杂生物对象（橡树、鸵鸟等）或音乐流派（摇滚、民