13、线性预测器与提升算法：原理、应用与分析

线性预测器与提升算法：原理、应用与分析

1. 半空间相关内容

在研究半空间相关问题时，我们首先关注感知机算法相关的证明。为了证明方程 (9.2) 成立，我们分两步进行。
- 证明 ⟨w⋆, w(T + 1)⟩ ≥ T ：在第一次迭代时，w(1) = (0, …, 0)，所以 ⟨w⋆, w(1)⟩ = 0。在第 t 次迭代中，如果使用示例 (xi, yi) 进行更新，我们有：
[
\begin{align }
⟨w⋆, w(t + 1)⟩ - ⟨w⋆, w(t)⟩ &= ⟨w⋆, w(t + 1) - w(t)⟩\
&= ⟨w⋆, yixi⟩\
&= yi⟨w⋆, xi⟩\
&\geq 1
\end{align }
]
经过 T 次迭代后，可得：
[
⟨w⋆, w(T + 1)⟩ = \sum_{t = 1}^{T} (⟨w⋆, w(t + 1)⟩ - ⟨w⋆, w(t)⟩) \geq T
]
- 对 ∥w(T + 1)∥ 进行上界约束 ：对于每次迭代 t，有：
[
\begin{align }
∥w(t + 1)∥^2 &= ∥w(t) + yixi∥^2\
&= ∥w(t)∥^2 + 2yi⟨w(t), xi⟩ + y_i^2∥xi∥^2\
&\leq ∥w(t)∥^2 + R^2
\end{align }
]
因为 ∥w(1)