13、线性预测器与提升算法详解

线性预测器与提升算法详解

1. 半空间相关内容

半空间在机器学习中有着重要的地位，特别是在感知机算法的分析中。首先我们来证明一个关键不等式。

1.1 不等式证明

为了证明相关不等式成立，我们分两步进行。首先证明(\langle w^{\star}, w(T + 1)\rangle \geq T)。在第一次迭代时，(w(1) = (0, \ldots, 0))，所以(\langle w^{\star}, w(1)\rangle = 0)。在第(t)次迭代时，如果使用示例((x_i, y_i))进行更新，我们有：
[
\begin{align }
\langle w^{\star}, w(t + 1)\rangle - \langle w^{\star}, w(t)\rangle &= \langle w^{\star}, w(t + 1) - w(t)\rangle\
&= \langle w^{\star}, y_ix_i\rangle\
&= y_i\langle w^{\star}, x_i\rangle\
&\geq 1
\end{align }
]
经过(T)次迭代后，可得：
[
\langle w^{\star}, w(T + 1)\rangle = \sum_{t = 1}^{T} (\langle w^{\star}, w(t + 1)\rangle - \langle w^{\star}, w(t)\rangle) \geq T
]

接下来，我们对(|w(T + 1)|