3、监督学习：原理、方法与实践

监督学习：原理、方法与实践

1. 监督学习概述

监督学习从最简单的情况开始讨论，即从正例和反例中学习一个类别。随后扩展到多类别情况，以及输出为连续值的回归问题。

2. 从示例中学习类别

以学习“家用汽车”类别为例，我们有一组汽车示例，并通过调查让人们对这些汽车进行标注。认为是家用汽车的为正例，其他为反例。类别学习就是找到一个描述，使得所有正例都符合，而所有反例都不符合。

通过与专家讨论，我们确定汽车的价格和发动机功率是区分家用汽车和其他汽车的特征。用 (x_1) 表示价格，(x_2) 表示发动机功率，每辆汽车用 (\mathbf{x} = \begin{bmatrix} x_1 \ x_2 \end{bmatrix}) 表示，其标签 (r) 定义为：
[
r =
\begin{cases}
1, & \text{如果 }\mathbf{x}\text{ 是正例} \
0, & \text{如果 }\mathbf{x}\text{ 是反例}
\end{cases}
]
训练集包含 (N) 个这样的示例 (\mathcal{X} = {(\mathbf{x} t, r_t)} {t=1}^N)。

训练数据可以绘制在二维 ((x_1, x_2)) 空间中。经过进一步讨论和数据分析，我们假设家用汽车的价格和发动机功率应在一定范围内：
((p_1 \leq \text{价格} \leq p_2) \text{ 且 } (e_1 \leq \text{发动机功率} \leq e_2))
这意味着家用汽车类别 (C