基于AdaBoost级联分类器的人脸/眼睛位置检测算法概述

AdaBoost分类器概述

—— 才疏学浅, 难免有错误和遗漏, 欢迎补充和勘误.

• AdaBoost算法在1995年由Freund和Shapired提出,它是机器学习领域中一种重要的特征分类方法，其可以训练一系列的弱分类器$G_k(x)$来获得最终的一个强分类器$F(x)$。但是因为其计算量太大，所以迟迟未能应用在人脸检测领域。直到2001年Jones与Viola两位教授把Haar-like特征以及积分图的概念引入到Adaboost中，才将用Haar级联分类器来检测人脸的方法推入了历史舞台。

• 下面以二分类人脸检测为例通过把$m$个样本数据$T$通过$k$个弱分类器$G_k(x)$训练成强分类器$F(x)$的过程对Adaboost迭代算法进行概述, $k$为进行到第$m$轮的弱分类器训练，$G_k(x)$为第 $k$个弱分类器：

图1. AdaBoost分类器的训练过程图

• 假定有$m$个样本构成一个样本集合$T$：
  T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x i , y i ) , . . . , ( x m , y m ) } ; i = 1 , 2... m T = \left\{ {\left( {x_1,y_1} \right),\left( {x_2,y_2} \right),...,\left( {x_i,y_i} \right),{\rm{ }}...{\rm{ }},\left( {x_m,y_m} \right)} \right\}{\rm{ }};i = 1,2...m T={(x1​,y1​),(x2​,y2​),...,(xi​,yi​),...,(xm​,ym​)};i=1,2...m
• 其中$x_i$为样本的描述，$y_i\in (1,-1)$为样本的标识。在人脸检测中$x_i$可以是每张图片的序号，该图片为正样本时$y_i=1$时，即为人脸图像；该图片为负样本时$y_i=-1$，即为非人脸图像。下面对该样本进行分类训练：

---

1. 参数初始化

• 在第一轮训练中样本的权重系数分布$D(1)$都设置为$\frac{1}{m}$，其中${\omega }_{ki}$代表第$k$轮第$i$个样本的权重。
  D ( 1 ) = { ω 11 , ω 12 , . . . ω 1 m } ; ω 1 i = 1 m ; i = 1 , 2... m D(1) = \left\{ {\omega _{11},\omega _{12},...\omega _{1m}} \right\};\omega _{1i} = \frac{1}{m};i = 1,2...m D(1)={ω11​,ω12​,...ω1m​};ω1i​=m1​;i=1,2...m
• 在第一轮中把每一个样本点的权重都初始化为$D(1)=\frac{1}{m}$，这样能够保证在训练第一个弱分类器$G1(x)$时每个样本点起的作用是一样的。

---

2. 计算分类误差率 $e_k$

• 遍历样本集中$x$的阈值分界点$v$，对于每一个弱分类器 $G_k(x)$，计算该轮分类的误差率 $e_k$，选取使样本序号 $x$在以 $v$为分界点时分类误差率 $e_k$最低时的阈值$v$ ,并最终确定该轮下的弱分类器：
  $G_k(x)=\{\begin{array}{ll}1& p_{i}x<p_{i}v\\ 0& \text{ otherwise }\end{array}$
  弱分类器 $G_k(x)$的值为1说明该图片是人脸图像，值为0时说明该图片是非人脸图像; $p_i$的作用是确定不等号的方向。分类误差率计算公式为：$e_k=P(G_k(x_i)\ne y_i)=\sum _{i=1}^m{\omega }_{ki}I(G_k(x_i)\ne y_i)$
• 其中 $I\left(G_k\left(x_i\right)\ne y_i\right)=\{\begin{array}{ll}1& G_k\left(x_i\right)\ne y_i\\ 0& G_k\left(x_i\right)=y_i\end{array}$，即让第$k$轮第$i$个样本的权重${\omega }_{ki}$乘以0或1再求和，其中当分类器的判断是正确时($G_k(x_i)=y_i$)为0,错误时($G_k(x_i)\ne y_i$)为1。即经此计算后可以得到该轮分类的误差。

---

3. 计算弱分类器的权重系数 ${\alpha }_k$

• 因为Adaboost是加法模型、前向分步学习算法,又通过对Adaboost算法中指数型的损失函数进行优化，对损失函数Loss求偏导($\frac{\partial Loss}{\partial \alpha }$)令其等于0,计算出 ${\alpha }_k$和 $e_k$的关系：${\alpha }_k=\frac{1}{2}\log \frac{1-e_k}{e_k}$
• 经此计算后，达到分类误差 $e_k$越高的弱分类器 $G_k(x)$其权重系数 ${\alpha }_k$越小的目的，这样可以提高检测准确率。

---

4. 更新下一轮每个样本点的权重系数：${\omega }_{k+1,i}=\frac{{\omega }_{ki}}{Z_k}\exp (-{\alpha }_k{y}_i{G}_k(x_i))$

• 其中 $Z_k$是规范化因子，$Z_k={\sum }_{i=1}^m{\omega }_{ki}\exp \left(-{\alpha }_k{y}_i{G}_k\left(x_i\right)\right)$，作用是将样本权重归一化。如果某个样本被错误分类，会导致 $y_i{G}_k(x_i)<0$，导致在下一轮的分类中权重 $\omega$变大进而影响样本描述 $x$的分类阈值 $v$，从而达到了更重视错误样本分类工作的目的。
• 经过该计算后得到了该轮所有的样本权重：
  D ( k + 1 ) = { ω ( k + 1 ) 1 , ω ( k + 1 ) 2 , … ω ( k + 1 ) m } ; ∑ 1 m ω ( k + 1 ) i = 1 D(k+1)=\{\omega_{(k+1) 1}, \omega_{(k+1) 2}, \ldots \omega_{(k+1) m}\} ; \sum_{1}^{m} \omega_{(k+1) i}=1 D(k+1)={ω(k+1)1​,ω(k+1)2​,…ω(k+1)m​};∑1m​ω(k+1)i​=1
• 再去重复步骤2.-4.，直至所有的弱分类器训练完毕。

---

5. 生成最终的强分类器$F(x)$

• Adaboost生成最终强分类器采用的方法是弱分类器的加权求和法，将每一级弱分类器乘以一个权重后再相加形成最终的强分类器：
  $F(x)=\mathrm{sign}\left({\sum }_{\mathrm{k}=1}^K{\alpha }_k{G}_k(x)\right)=\{\begin{array}{cl}1& {\sum }_{\mathrm{k}=1}^K{\alpha }_k{G}_k(x)>0\\ 0& {\sum }_{\mathrm{k}=1}^K{\alpha }_k{G}_k(x)=0\\ -1& {\sum }_{\mathrm{k}=1}^K{\alpha }_k{G}_k(x)<0\end{array}$
• 其中$K$为弱学习器的迭代次数， $F(x)=1$代表通过，$F(x)=-1$ 代表不通过，$F(x)=0$ 代表不操作。至此，一个由一系列弱分类器通过训练而获得的强分类器形成了。

最后将各个强分类器 $F_i(x)$按一定的策略级联得到级联分类器：

图2. 由多个强分类器构成级联分类器的过程图