Daily AI 20250513 (集成学习及其与联邦学习的区别)

参考资料：神经网络与深度学习

集成学习（Ensemble Learning）

通过某种策略将多个模型集成起来，通过群体决策来提高决策准确率，对于 M 个不同的模型$f_1(\mathbf{x}),\cdots ,f_M(\mathbf{x})$，每个模型的期望错误为：
$$\mathcal{R}\left(f_m\right)={\mathbb{E}}_{\mathbf{x}}\left[{\left(f_m(\mathbf{x})-h(\mathbf{x})\right)}^2\right]={\mathbb{E}}_x\left[{ϵ}_m(\mathbf{x}{)}^2\right]$$，其中$h(\cdot )$表征输入与输出间的真实关系，${ϵ}_m(\mathbf{x})$即为误差项。则全部模型等权重“聚合”的平均错误为：
$$\overline{\mathcal{R}}(f)=\frac{1}{M}\sum _{m=1}^M{\mathbb{E}}_{\mathbf{x}}\left[{ϵ}_m(\mathbf{x}{)}^2\right]$$
基于等权重“聚合”（投票）的集成模型为：
$$F(\mathbf{x})=\frac{1}{M}\sum _{m=1}^M{f}_m(\mathbf{x})$$
对于 $M$ 个不同的模型 $f_1(\mathbf{x}),\cdots ,f_M(\mathbf{x})$ ，其平均期望错误为 $\overline{\mathcal{R}}(f)$ 。基于简单投票机制的集成模型 $F(\mathbf{x})=\frac{1}{M}{\sum }_{m=1}^M{f}_m(\mathbf{x}),F(\mathbf{x})$ 的期望错误在 $\frac{1}{M}\overline{\mathcal{R}}(f)$ 和 $\overline{\mathcal{R}}(f)$ 之间．
证明：
$$\begin{array}{rl}\mathcal{R}(F)& ={\mathbb{E}}_{\mathbf{x}}\left[{\left(\frac{1}{M}\sum _{m=1}^M{f}_m(\mathbf{x})-h(\mathbf{x})\right)}^2\right]\\ & ={\mathbb{E}}_{\mathbf{x}}\left[{\left(\frac{1}{M}\sum _{m=1}^M{ϵ}_m(\mathbf{x})\right)}^2\right]\\ & =\frac{1}{M^2}{\mathbb{E}}_{\mathbf{x}}[\sum _{m=1}^M\sum _{n=1}^M{ϵ}_m(\\ & \end{array}$$