27、流行的元分类器解析

流行的元分类器解析

在分类算法的领域中，元分类器是一种强大的工具，它可以将多个基础分类器的输出进行组合，从而提高分类的准确性和稳定性。本文将详细介绍几种流行的元分类器，包括它们的原理、优缺点以及应用场景。

1. 组合器：乘积组合器与简单均值组合器

在元分类器中，有两种常见的组合器：乘积组合器和简单均值组合器。它们都是通过最小化元分类器和其成员的后验概率之间的平均Kullback - Leibler散度得到的。

• 乘积组合器 ：其表达式为 $\mu_j = \prod_{i=1}^{L} d_{i,j}$ 。它对接近零的估计值非常敏感，如果某个基础分类器给出的 $p_i(c_j|x) \approx 0$ ，那么无论其他分类器的估计如何，乘积组合器都不太可能支持类别 $c_j$ 。
• 简单均值组合器 ：表达式为 $\mu_j = \frac{1}{L} \sum_{i=1}^{L} d_{i,j}$ 。它对后验概率的估计误差更具弹性，相比乘积组合器，在处理估计误差时表现更好。

目前并没有明确的指南表明哪种组合器更适合特定的问题。一些研究结果显示，简单均值组合器在处理后验概率的估计误差时更具优势。

2. 堆叠泛化（Stacked Generalization）

堆叠泛化是一种通用的方法，它通过另一个分类器 $\varphi^*$ 来组合多个基础分类器 $\varphi_1, \cdots, \varphi_L$ 的输出。这种方法可以看作是一种通过学习进行组合的特定方法，组合器试图学习哪些分类器是可靠