23、机器学习中的提升算法与生成模型

机器学习中的提升算法与生成模型

一、提升算法相关练习

1.1 AdaBoost相关问题

1.1.1 翻转模型的误差与权重计算

在AdaBoost算法中，假设在第m步学习到的基模型 $f_m(x)$ 表现比随机猜测还差，即误差 $\epsilon_m > \frac{1}{2}$。若将其翻转得到 $\overline{f}_m(x) = -f_m(x)$，需要计算 $\overline{f}_m(x)$ 的误差及其最优集成权重，并证明在AdaBoost中使用 $f_m(x)$ 或 $\overline{f}_m(x)$ 是等价的。

1.1.2 重加权数据上的误差计算

在AdaBoost中，基模型 $f_m(x)$ 的误差定义为 $\epsilon_m = \sum_{y_n \neq f_m(x_n)} \overline{\alpha}^{(m)} n$，通常 $\epsilon_m < \frac{1}{2}$。然后对下一轮训练样本进行重加权：
$\overline{\alpha}^{(m + 1)}_n = \frac{\overline{\alpha}^{(m)}_n e^{-y_n w_m f_m(x_n)}}{\sum {n = 1}^{N} \overline{\alpha}^{(m)} n e^{-y_n w_m f_m(x_n)}}$，$\forall n = 1, 2, \cdots, N$
需要计算同一基模型 $f_m(x)$ 在重加权数据上的误差 $\widetilde{\epsilon}_m = \sum {y_n \neq f_m(x_n)} \o