Daily AI 20250513 (集成学习及其与联邦学习的区别)

参考资料：神经网络与深度学习

集成学习（Ensemble Learning）

通过某种策略将多个模型集成起来，通过群体决策来提高决策准确率，对于 M 个不同的模型$f_1(\mathbf{x}),\cdots ,f_M(\mathbf{x})$，每个模型的期望错误为：
$$\mathcal{R}\left(f_m\right)={\mathbb{E}}_{\mathbf{x}}\left[{\left(f_m(\mathbf{x})-h(\mathbf{x})\right)}^2\right]={\mathbb{E}}_x\left[{ϵ}_m(\mathbf{x}{)}^2\right]$$，其中$h(\cdot )$表征输入与输出间的真实关系，${ϵ}_m(\mathbf{x})$即为误差项。则全部模型等权重“聚合”的平均错误为：
$$\overline{\mathcal{R}}(f)=\frac{1}{M}\sum _{m=1}^M{\mathbb{E}}_{\mathbf{x}}\left[{ϵ}_m(\mathbf{x}{)}^2\right]$$
基于等权重“聚合”（投票）的集成模型为：
$$F(\mathbf{x})=\frac{1}{M}\sum _{m=1}^M{f}_m(\mathbf{x})$$
对于 $M$ 个不同的模型 $f_1(\mathbf{x}),\cdots ,f_M(\mathbf{x})$ ，其平均期望错误为 $\overline{\mathcal{R}}(f)$ 。基于简单投票机制的集成模型 $F(\mathbf{x})=\frac{1}{M}{\sum }_{m=1}^M{f}_m(\mathbf{x}),F(\mathbf{x})$ 的期望错误在 $\frac{1}{M}\overline{\mathcal{R}}(f)$ 和 $\overline{\mathcal{R}}(f)$ 之间．
证明：
$$\begin{array}{rl}\mathcal{R}(F)& ={\mathbb{E}}_{\mathbf{x}}\left[{\left(\frac{1}{M}\sum _{m=1}^M{f}_m(\mathbf{x})-h(\mathbf{x})\right)}^2\right]\\ & ={\mathbb{E}}_{\mathbf{x}}\left[{\left(\frac{1}{M}\sum _{m=1}^M{ϵ}_m(\mathbf{x})\right)}^2\right]\\ & =\frac{1}{M^2}{\mathbb{E}}_{\mathbf{x}}\left[\sum _{m=1}^M\sum _{n=1}^M{ϵ}_m(\mathbf{x}){ϵ}_n(\mathbf{x})\right]\\ & =\frac{1}{M^2}\sum _{m=1}^M\sum _{n=1}^M{\mathbb{E}}_{\mathbf{x}}\left[{ϵ}_m(\mathbf{x}){ϵ}_n(\mathbf{x})\right],\end{array}$$
其中 ${\mathbb{E}}_{\mathbf{x}}\left[{ϵ}_m(\mathbf{x}){ϵ}_n(\mathbf{x})\right]$ 为两个不同模型错误的相关性．如果每个模型的错误不相关，即 $\forall m\ne n,{\mathbb{E}}_{\mathbf{x}}\left[{ϵ}_m(\mathbf{x}){ϵ}_n(\mathbf{x})\right]=0$ ．如果每个模型的错误都是相同的，则 $\forall m\ne$ $n,{ϵ}_m(\mathbf{x})={ϵ}_n(\mathbf{x})$ 。并且，由于 ${ϵ}_m(\mathbf{x})\ge 0,\forall m$ ，可以得到
$$\overline{\mathcal{R}}(f)\ge \mathcal{R}(F)\ge \frac{1}{M}\overline{\mathcal{R}}(f)$$
从上述定理可知，为了得到更好的集成效果，要求每个模型之间具备一定的差异性。并且随着模型数量的增多，其错误率也会下降，并趋近于 0 。 （ 模型之间具备一定的差异性，这其实是与联邦学习所追求的目标相悖，（单层）联邦学习是追求local model的一致性以减少drift ）

Boosting类方法

为了增加模型之间的差异性，Boosting 类方法是按照一定的顺序来先后训练不同的基模型，每个模型都针对前序模型的错误进行专门训练。根据前序模型的结果，来调整训练样本的权重，从而增加不同基模型之间的差异性。

AdaBoost算法

系统内存在M个基分类器（Base Classifier），共同生成一个加性模型，每个弱分类器对应的权重为${\alpha }_m$
$$F(\mathbf{x})=\sum _{m=1}^M{\alpha }_m{f}_m(\mathbf{x})$$
Boosting 类方法的关键是如何训练每个弱分类器 $f_m(\mathbf{x})$ 及其权重 ${\alpha }_m$ ．为了提高集成的效果，应当尽量使得每个弱分类器的差异尽可能大．一种有效的算法是采用迭代（sequencial）的方法来学习每个弱分类器，即按照一定的顺序依次训练每个弱分类器．假设已经训练了 $m$ 个弱分类器，在训练第第 $m+1$ 个弱分类器时，增加已有弱分类器分错样本的权重，使得第 $m+1$ 个弱分类器＂更关注＂于已有弱分类器分错的样本（由于后面的弱分类器总是专注于前面的弱分类器做的不好之处），每个弱分类器的差异可足够大，最终提升集成分类器的准确率，即AdaBoost在每一轮训练中，增加分错样本的权重，减少分对样本的权重，从而得到一个新的数据分布。

对于二分类： f m ( x ) ∈ { + 1 , − 1 } f_m(x) \in\{+1,-1\} fm​(x)∈{+1,−1}:

上述算法的数学解释：（基分类器权重 与 样本权重设定）
对于$F(\mathbf{x})={\sum }_{m=1}^M{\alpha }_m{f}_m(\mathbf{x})$，其损失函数定义为：
$$\mathcal{L}(F)=\exp (-yF(\mathbf{x}))=\exp \left(-y\sum _{m=1}^M{\alpha }_m{f}_m(\mathbf{x})\right),$$
其中 y ∈ { + 1 , − 1 } y\in\{+1,-1\} y∈{+1,−1}为真实结果。上述函数表明：若某个基分类器$f_m$结果与y异号，则需调整样本权重与分类器权重以降低损失函数值。
假设经过 $m-1$ 次迭代，得到
$$F_{m-1}(\mathbf{x})=\sum _{t=1}^{m-1}{\alpha }_t{f}_t(\mathbf{x})$$
则第 $m$ 次迭代的目标是找一个 ${\alpha }_m$ 和 $f_m(\mathbf{x})$ 使得下面的损失函数最小．（变量为${\alpha }_m$ 和 $f_m(\mathbf{x})$ ）
$$\begin{array}{c}\mathcal{L}\left({\alpha }_m,f_m(\mathbf{x})\right)=\sum _{n=1}^N\exp \left(-y^{(n)}\left(F_{m-1}\left({\mathbf{x}}^{(n)}\right)+{\alpha }_m{f}_m\left({\mathbf{x}}^{(n)}\right)\right)\right).\\ \text{ 令 }{w}_m^{(n)}=\exp \left(-y^{(n)}{F}_{m-1}\left({\mathbf{x}}^{(n)}\right)\right),\text{ 则损失函数可以写为 }\\ \mathcal{L}\left({\alpha }_m,f_m(\mathbf{x})\right)=\sum _{n=1}^N{w}_m^{(n)}\exp \left(-{\alpha }_m{y}^{(n)}{f}_m\left({\mathbf{x}}^{(n)}\right)\right).\end{array}$$
因为 y , f m ( x ) ∈ { + 1 , − 1 } y, f_m(\boldsymbol{x}) \in\{+1,-1\} y,fm​(x)∈{+1,−1} ，有
$$y{f}_m(\mathbf{x})=1-2I\left(y\ne f_m(\mathbf{x})\right)$$
其中 $I(x)$ 为指示函数．
将损失函数在 $-{\alpha }_m{y}^{(n)}{f}_m\left({\mathbf{x}}^{(n)}\right)=0$ 处进行二阶泰勒展开（$e^x={\sum }_{n=0}^{\infty }\frac{1}{n!}{x}^n=1+x+\frac{1}{2!}{x}^2+\cdots \in (-\infty ,+\infty )$），有

$$\begin{array}{rl}\mathcal{L}\left({\alpha }_m,f_m(\mathbf{x})\right)& =\sum _{n=1}^N{w}_m^{(n)}\left(1-{\alpha }_m{y}^{(n)}{f}_m\left({\mathbf{x}}^{(n)}\right)+\frac{1}{2}{\alpha }_m^2\right)\\ & \propto \sum _{n=1}^N{w}_m^{(n)}\left(-{\alpha }_m{y}^{(n)}{f}_m\left(x^{(n)}\right)+\frac{1}{2}{\alpha }_m^2\right)\\ & \propto {\alpha }_m\sum _{n=1}^N{w}_m^{(n)}I\left(y^{(n)}\ne f_m\left({\mathbf{x}}^{(n)}\right)\right)\end{array}$$
其中，第二步是忽略常数项；第三步是由于：当 ${\alpha }_m>0$ 时，$\mathcal{L}\left({\alpha }_m,f_m(\mathbf{x})\right)$大小正比于$y^{(n)}{f}_m\left({\mathbf{x}}^{(n)}\right)$的符号。即，最优的分类器 $f_m(\mathbf{x})$ 为使得在样本权重为 $w_m^{(n)},1\le n\le N$ 时的加权错误率最小的分类器．
基于上述损失函数，得到$f_m(\mathbf{x})$（即$f_m(\mathbf{x})$固定后），$\mathcal{L}\left({\alpha }_m,f_m(\mathbf{x})\right)$可进一步写为：
$$\mathcal{L}\left({\alpha }_m,f_m(\mathbf{x})\right)=\sum _{y^{(n)}=f_m\left({\mathbf{x}}^{(n)}\right)}{w}_m^{(n)}\exp \left(-{\alpha }_m\right)+\sum _{y^{(n)}\ne f_m\left({\mathbf{x}}^{(n)}\right)}{w}_m^{(n)}\exp \left({\alpha }_m\right)\propto \left(1-{ϵ}_m\right)\exp \left(-{\alpha }_m\right)+{ϵ}_m\exp \left({\alpha }_m\right)$$
其中${ϵ}_m$ 为分类器 $f_m(\mathbf{x})$ 的加权错误率：${ϵ}_m=\frac{{\sum }_{y^{(n)}\ne f_m\left({\mathbf{x}}^{(n)}\right)}{w}_m^{(n)}}{{\sum }_n{w}_m^{(n)}}$。求上式关于 ${\alpha }_m$ 的导数并令其为 0 ，得到${\alpha }_m=\frac{1}{2}\log \frac{1-{ϵ}_m}{{ϵ}_m}$。

集成学习与联邦学习的区别

集成学习（Ensemble Learning）的目标是通过多个模型的＂误差互补＂来降低泛化误差，哪怕这些模型是在同一个训练集或相似数据上训练的。差异性有助于＂平均掉＂某些模型的偏差，提升整体表现。

联邦学习的目标是：在保护数据隐私的前提下，训练出一个通用的、集中式的全局模型，这个模型要尽可能适配所有客户端的数据分布。

集成学习通常默认所有模型可访问同一数据分布或样本子集（如Bagging中的bootstrap），模型训练过程独立，但从相似数据中学习，差异来源于训练过程中的随机性。

联邦学习因为假设各用户数据是Non-IID的，即$D_i\ne D_j$。理论上这提供了差异性，但这种差异并不会直接带来好处，反而导致训练不稳定、聚合后性能下降。

在集成学习中，最终模型是 $F(\mathbf{x})=\frac{1}{M}{\sum }_m{f}_m(\mathbf{x})$，是输出级别的平均，哪怕模型结构不同也可以融合输出。对于集成学习来说，如果 ${ϵ}_m(\mathbf{x})$ 相互不相关，交叉项为 0，那么 $\mathcal{R}(F)$ 会显著低于每个 $\mathcal{R}(f_m)$。

联邦学习做的是 $\mathbf{w}=\frac{1}{M}{\sum }_m{\mathbf{w}}_m$，这是模型参数级别的平均，假设所有模型结构一致。在联邦学习中，如果你这么“平均”，${ϵ}_m(\mathbf{x})$ 并非只是误差，而是在各自数据上的“最优偏移”，这些偏移如果方向不一致（Non-IID引起的局部最优差异），它们不会互相抵消，而可能导致整体误差增加。

进一步：
$$\mathcal{R}(F)={\mathbb{E}}_{\mathbf{X}}\left[{\left(\frac{1}{M}\sum _{m=1}^M{ϵ}_m(\mathbf{x})\right)}^2\right]=\frac{1}{M^2}\sum _{m,n=1}^M{\mathbb{E}}_{\mathbf{X}}\left[{ϵ}_m(\mathbf{x}){ϵ}_n(\mathbf{x})\right]$$
这可以进一步拆解为：
$$\mathcal{R}(F)=\frac{1}{M}{\bar{\sigma }}^2+\frac{M-1}{M}\bar{\rho }$$
其中：${\bar{\sigma }}^2$：每个模型误差的平均方差；$\bar{\rho }$：不同模型之间误差项的平均协方差。

若模型误差互不相关（或低相关性）（$\bar{\rho }\approx 0$），则：$\mathcal{R}(F)\approx \frac{1}{M}{\bar{\sigma }}^2$，即误差与模型数量成反比。

从信息论角度：
假设真实目标是随机变量 $Y$，模型输出为 $F(X)$，我们从信息论角度看模型“了解”目标 $Y$ 的能力，即互信息 $I(F(X);Y)$。
根据信息融合原理，如果多个模型 $f_m(X)$ 是从不同“子空间”或“独立子模型”学习而来，它们提供了关于 $Y$ 的互补信息，则集成输出 $F(X)$ 满足：
$$I(F(X);Y)\ge \underset{m}{\max }I\left(f_m(X);Y\right)$$
特别地，如果每个模型的预测误差是统计独立的，那么最终模型就能“集成多个互不冗余的信息源”，信息量增加，从而提升泛化能力。