20、AdaBoost、逻辑回归与物种分布建模的优化问题解析

AdaBoost、逻辑回归与物种分布建模的优化问题解析

1. AdaBoost与逻辑回归的优化问题关联

在优化问题的研究中，我们关注到两个重要的优化程序。首先是程序（8.35）：
- 程序（8.35） ：
- 目标：最小化相关损失。
- 约束条件：
- $\frac{1}{m}\sum_{i = 1}^{m}\hbar_j(x_i, y_i)(\sum_{y}p(y|x_i)) = \frac{1}{m}\sum_{i = 1}^{m}\sum_{y}p(y|x_i)\hbar_j(x_i, y)$，其中$j = 1, \cdots, N$。
- $p(y|x_i) \geq 0$，对于$i = 1, \cdots, m$以及所有的$y$。
- 这里$RE_u (p(\cdot|x_i) \parallel 1) = \sum_{y}[p(y|x) \ln p(y|x) + 1 - p(y|x)]$。当假设同一示例$x$不会在数据集中以不同标签出现时，此程序等价于另一个程序，通过设置$d_i = p(-y_i|x_i)$，变量$p(y_i|x_i)$在解中总是等于$1$。所以，程序（8.35）实际上是在最小化指数损失。

接着，当我们给程序（8.35）添加一个归一化约束（如方程（8.33））时，得到新的程序（8.36）：
- 程序（8.36） ：
- 目标：$\sum_{i = 1}^{m}RE_u (p(\cdot|x_i) \parallel 1)$。
- 约束条件：
- $\frac{1}{m}\sum_{i = 1}^{