8、线性预测器：理论与算法

线性预测器：理论与算法

1. 线性预测器概述

线性预测器是一类非常有用的假设类，在实际应用中，许多学习算法都依赖于线性预测器。这主要是因为在很多情况下，线性预测器能够被高效地学习。此外，线性预测器直观易懂，易于解释，并且在许多自然学习问题中能较好地拟合数据。

我们将介绍属于这个家族的几个假设类，包括半空间、线性回归预测器和逻辑回归预测器，并展示相关的学习算法，如用于半空间的线性规划和感知机算法，以及用于线性回归的最小二乘法。

1.1 仿射函数类的定义

仿射函数类定义为：
[L_d = {h_{w,b} : w \in \mathbb{R}^d, b \in \mathbb{R}}]
其中，
[h_{w,b}(x) = \langle w, x \rangle + b = \left(\sum_{i=1}^{d} w_i x_i\right) + b]
也可以使用另一种表示方法：
[L_d = {x \mapsto \langle w, x \rangle + b : w \in \mathbb{R}^d, b \in \mathbb{R}}]
这表示 $L_d$ 是一个函数集合，每个函数由 $w \in \mathbb{R}^d$ 和 $b \in \mathbb{R}$ 参数化，输入一个向量 $x$，输出标量 $\langle w, x \rangle + b$。

不同的线性预测器假设类是函数 $\varphi : \mathbb{R} \to Y$ 在 $L_d$ 上的复合。例如，在二分类问题中，$\varphi$ 可以选择为符号函数；对于回归问题，$Y = \mathbb