71、机器学习中的监督学习与决策树算法详解

机器学习中的监督学习与决策树算法详解

1. 学习类型概述

在机器学习领域，根据输入所伴随的反馈类型，可将学习主要分为三种类型：
- 监督学习 ：智能体观察输入 - 输出对，学习一个从输入映射到输出的函数。例如，输入为相机图像，输出为“公交车”“行人”等标签；或者输入是汽车的当前状态（速度、方向、路况），输出是停车所需的距离。
- 无监督学习 ：智能体在没有明确反馈的情况下学习输入中的模式。最常见的无监督学习任务是聚类，例如计算机视觉系统能从大量互联网图像中识别出类似“猫”的图像集群。
- 强化学习 ：智能体从一系列的强化信号（奖励和惩罚）中学习。以象棋游戏为例，游戏结束时智能体得知自己获胜（奖励）或失败（惩罚），然后需要自行判断在强化信号之前的哪些行动最为关键，并调整后续行动以获取更多奖励。

2. 监督学习的详细解析

监督学习的正式任务是：给定一个包含 $N$ 个输入 - 输出对的训练集 $(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)$，每个输入 - 输出对由一个未知函数 $y = f(x)$ 生成，我们要发现一个近似于真实函数 $f$ 的函数 $h$。这个函数 $h$ 被称为关于世界的假设，它来自于可能函数的假设空间 $H$。例如，假设空间可以是三次多项式集合、JavaScript 函数集合或 3 - SAT 布尔逻辑公式集合。

2.1 假设空间的选择

选择假设空间有以下几种方法：
- 若我们对生成数据的过程有先验知识，可依据此选择合适的假设空间。 <