19、AdaBoost收敛性证明及与逻辑回归的统一

AdaBoost收敛性证明及与逻辑回归的统一

1. AdaBoost收敛性证明概述

我们旨在证明AdaBoost的一些重要收敛性质。具体而言，要证明与AdaBoost相关的未归一化分布收敛到特定程序的唯一解，并且AdaBoost渐近收敛到指数损失的最小值。

2. 前期准备

为简化表示，定义一个 $m × N$ 的矩阵 $M$，其元素为 $M_{ij} = y_iℏ_j(x_i)$。算法计算的所有向量 $d_t$ 都是矩阵 $M$ 各列线性组合的指数形式。即所有的 $d_t$ 都属于集合 $Q$，其中 $Q$ 定义为所有形如 $d_i = \exp\left(-\sum_{j=1}^{N} \lambda_jM_{ij}\right)$ 的向量 $d$ 的集合，其中 $\lambda \in R^N$。

由于 $d_t$ 都属于 $Q$，若其极限存在，则该极限必然在 $Q$ 的闭包 $\overline{Q}$ 中。此外，我们所寻求的向量必须属于由方程定义的可行集 $P$。因此，直观上，如果算法有效，它将收敛到同时属于这两个集合的点，即 $P \cap \overline{Q}$。

为了直观理解集合 $P$ 和 $Q$，我们来看两个简单的例子：
- 示例一 ：假设训练集仅由 $m = 2$ 个正例 $(x_1, y_1)$ 和 $(x_2, y_2)$ 组成，即 $y_1 = y_2 = +1$。基假设空间 $H$ 由单个假设 $ℏ_1$ 组成，其中 $ℏ_1(x_1) = +1$ 且 $ℏ_1(x_2) = -1$。根据方程，$P = {d \in R^2_+ : d_1 - d_2 =