【机器学习】西瓜书集成学习的误差-分歧分解公式推导

前言

原文中，根据公式（8.28）写出了集成的“分歧”定义为：
$$\overline{A}(h|x)=\sum _{i=1}^T{w}_i(h_i(x)-H(x){)}^2$$

结果在公式（8.31）突然变成，将分歧和误差联系上了，看得我非常懵逼
$$\overline{A}(h|x)=\sum _{i=1}^T{w}_{i}E(h_i|x)-E(H|x)$$

所以，本文主要解释西瓜书第185页公式（8.31）的第一行是怎么来的

公式

首先，将公式（8.31）的第二行换个写法，我们叫他为公式（a），如果能够证明公式（a）是正确的，那么公式（8.31）的第一行也就是成立的：
$$\overline{E}(h|x)-\overline{A}(h|x)=E(H|x)$$

已知：
$$\overline{E}(h|x)=\sum _{i=1}^T{w}_i(f(x)-h_i(x){)}^2$$
$$\overline{A}(h|x)=\sum _{i=1}^T{w}_i(h_i(x)-H(x){)}^2$$

所以：

$\overline{E}(h|x)-\overline{A}(h|x)$$

$=\sum _{i=1}^T{w}_i(f(x)-h_i(x){)}^2-\sum _{i=1}^T{w}_i(h_i(x)-H(x){)}^2$

求和号$\sum _{i=1}^T$和权重$w_i$提到前面，得：

=∑i=1Twi[(f(x)−hi(x))2−(hi(x)−H(x))2]= \sum\limits_{i=1}^{T}w_i[(f(x)-h_i(x))^2 - (h_i(x)-H(x))^2]