12、集成学习与人工神经网络：原理、应用与挑战

集成学习与人工神经网络：原理、应用与挑战

常用集成模型

弱学习器与最终假设

弱学习器的目标是找到具有小伪损失的弱假设 $h_t$。在使用标准的“现成”学习算法时，可能需要进行一些修改。接收 $h_t$ 后，使用与 AdaBoost.M1 类似的规则更新误标记分布。对于给定实例 $x$，最终假设 $h_{fin}$ 的输出是使弱假设值 $h_t(x, y)$ 的加权平均值最大化的标签 $y$。最终假设 $h_{fin}$ 的评估使用普通误差度量，公式如下：
[h_{fin}(x) = \arg\max_{y\in Y} \sum_{t=1}^{T} \left(\log \frac{1}{\beta_t}\right) h_t(x, y)]
实验证明，当弱学习算法生成相当简单的分类器时，提升算法明显且一致地优于装袋算法。

专家混合模型

专家混合模型是一种广泛使用的分类器组合范式，它由一组分类器和一个最终的“门控机制”组成。分类器和门控机制（通常是使用期望最大化（EM）算法训练的人工神经网络）同时在给定数据集上进行训练。每个集成组件针对数据生成特定的假设，门控机制的训练目标是确定每个分类器输出在特定输入下的权重，以最大化最终假设输出的准确性。

当系统对新条目进行分类时，每个分类器根据其假设生成输出，门控机制确定分类器在新条目所属输入空间区域的专业程度，并在投票中赋予专业程度高的分类器更高的权重。整个系统的输出公式为：
[h_{fin} = \sum_{j=1}^{M} w_j h_j]
其中，$w_j$ 是门控机制赋予特定分类器的权重。对于单个模式 $(x, d)$，系统要最小化的误差函数为：$e_{fin} =