1、机器学习入门：简单任务与爬山搜索算法

机器学习入门：简单任务与爬山搜索算法

1. 机器学习的背景与目标

在科技发展的长河中，让机器具备学习能力一直是人们的梦想。早期，Rosenblatt 的感知机引发了一波研究热潮，但这种兴奋转瞬即逝。后续的尝试也大多未能取得突破，机器学习长期处于其他成功学科的阴影之下。

直到一群有远见的人指出了 20 世纪 70 年代人工智能中基于知识的系统的弱点：知识从何而来？传统的做法是让工程师和领域专家共同编写 if - then 规则，但实际操作中困难重重。于是，他们提出了一个简单而大胆的想法：既然直接告诉机器如何解决问题如此困难，为何不通过示例间接传达必要的技能，让计算机从中学习呢？

如今，机器学习已经成熟，许多高校开始将其作为本科课程。这就需要一本更注重实践、能让学生理解不同方法优缺点以及适用场景的教材。

2. 简单机器学习任务的引入

在实际生活中，我们很难用语言准确描述母亲的脸让朋友在超市认出她，但给朋友看几张母亲的照片，他就能立刻识别。这就是我们希望技术能够模仿的：通过示例向机器传达难以精确定义的对象或概念。这就要求计算机能够将示例转化为知识，因此我们对机器学习的算法和技术产生了兴趣。

2.1 训练集与分类器

2.1.1 训练示例集

以 Johnny 对馅饼的喜好为例，有 6 个 Johnny 喜欢的馅饼和 6 个他不喜欢的馅饼，这些正例和反例构成了一个训练集。我们的目标是从这个训练集中诱导出一个分类器，用于将未来的馅饼分为正类（Johnny 喜欢）和负类（Johnny 不喜欢）。

实际上，分类器处理的类别数量可以更多。例如，判断风景快照拍摄季节的分类