6、线性决策表面与感知机学习：原理、算法及应用

线性决策表面与感知机学习：原理、算法及应用

1. 从数据集到决策函数

1.1 简单决策表面

考虑一个点 $a \in R^2$，且 $a \notin S$，即该点属于数据空间 $R^2$ 但不属于训练数据集。若点 $a$ 位于决策表面上方，我们为其分配标签 $+1$；若位于下方，则分配标签 $-1$。决策表面的法向量指向标签为 $+1$ 的点，这为计算点 $a$ 的标签提供了一种直接的方法。

当我们将决策表面 $g$ 应用于点 $a$ 时：
[g(a) = w \cdot a = |w||a| \cos(\gamma ) = k]
若点 $a$ 位于表面上方且 $\gamma \leq 90^{\circ}$，则 $k$ 为正值；若点 $a$ 位于决策表面下方且 $\gamma > 90^{\circ}$，则 $k$ 为负值。这里 $\gamma$ 是决策表面法向量 $w$ 与位置向量 $a$ 之间的夹角。

基于此，我们可以构建决策函数 $\hat{f}$：
[\hat{f} (x) =
\begin{cases}
+1 & \text{if } g(x) \geq 0 \
-1 & \text{if } g(x) < 0
\end{cases}]
对于所有 $x \in R^2$，决策函数 $\hat{f}$ 会为位于决策表面 $g$ 上方的点计算标签 $+1$，为下方的点计算标签 $-1$。由于决策函数 $\hat{f}$ 会为数据空间中的任何点分配标签，我们可以将其视为原始标签函数 $f$ 的近似。这是一种归纳学习，因为我们依赖训练数据中的实