Haar特征

最新推荐文章于 2021-01-21 14:47:28 发布

转载最新推荐文章于 2021-01-21 14:47:28 发布 · 1.3w 阅读

51 篇文章

订阅专栏

Haar特征是一种反映图像的灰度变化的，像素分模块求差值的一种特征。它分为三类：边缘特征、线性特征、中心特征和对角线特征。用黑白两种矩形框组合成特征模板，在特征模板内用黑色矩形像素和减去白色矩形像素和来表示这个模版的特征值。例如：脸部的一些特征能由矩形模块差值特征简单的描述，如：眼睛要比脸颊颜色要深，鼻梁两侧比鼻梁颜色要深，嘴巴比周围颜色要深等。但矩形特征只对一些简单的图形结构，如边缘、线段较敏感，所以只能描述在特定方向（水平、垂直、对角）上有明显像素模块梯度变化的图像结构。

这里写图片描述

如上图A、B、D模块的图像Haar特征为：v=Sum白-Sum黑
C 模块的图像Haar特征为：v=Sum白(左)+Sum白(右)-2*Sum黑
这里要保证白色矩形模块中的像素与黑色矩形的模块的像素数相同，所以乘2

对于一幅图像来说，可以通过通过改变特征模板的大小和位置，可穷举出大量的特征来表示一幅图像。上图的特征模板称为“特征原型”；特征原型在图像子窗口中扩展（平移伸缩）得到的特征称为“矩形特征”；矩形特征的值称为“特征值”。例如在24*24大小的图像中可以以坐标（0，0）开始宽为20高为20矩形模版计算上图A特征，也可以以坐标（0，2）开始宽为20高为20矩形模版计算上图A特征，也可以以坐标（0，0）开始宽为22高为22矩形模版计算上图A特征，这样矩形特征值随着类别、大小和位置的变化，使得很小的一幅很小的图像含有非常多的矩形特征。矩形特征值是矩形模版类别、矩形位置和矩形大小这三个因素的函数。

Haar特征计算方法

首先介绍下积分图：如下述代码所示，是opencv中存储图像积分图的结构体，可以看到有两种积分图sum积分图，titled sum积分图。sum积分图用来计算一般的垂直或水平的矩形特征，如下面的(a)、(b)、(c)、(d)。。。，而titled sum积分图用来计算倾斜45度的积分图，如下面的(1c)、(1d)、(2c)。。。

/* Prepared for training samples */
typedef struct CvHaarTrainingData
{
    CvSize winsize;     /* training image size */
    int    maxnum;      /* maximum number of samples */
    CvMat  sum;         /* sum images (each row represents image) */
    CvMat  tilted;      /* tilted sum images (each row represents image) */
    CvMat  normfactor;  /* normalization factor */
    CvMat  cls;         /* classes. 1.0 - object, 0.0 - background */
    CvMat  weights;     /* weights */

    CvMat* valcache;    /* precalculated feature values (CV_32FC1) */
    CvMat* idxcache;    /* presorted indices (CV_IDX_MAT_TYPE) */
} CvHaarTrainigData;

sum积分图主要的思想是将图像从起点开始到各个点所形成的矩形区域像素之和作为一个数组的元素保存在内存中，当要计算某个区域的像素和时可以直接索引数组的元素，不用重新计算这个区域的像素和。例如：对一个X*Y图像它的积分图也是一个X*Y的元素为int型的积分图，对应积分图中（x,y）位置值表示就是原图像矩形框[(0,0), (x,y)]内所有像素的和。如下图所示：

这里写图片描述

用公式表示：
$f(x,y)=$$\sum\limits_{i \leq x,j \leq y} p(i,j) $$$ 其中p(i,j)表示原图在(i,j)位置像素值，f(x,y)表示积分图在(x,y)位置值

积分图能够在多种尺度下，使用相同的时间（常数时间）来计算不同的特征，因此大大提高了检测速度。如下图所示图片不位置不同大小矩形框的两个A特征，他们的计算方式分别为：
[f(x,y)+f(i,j)-f(s,t)-f(l,m)]-[f(s,t)+f(h,k)-f(i,j)-f(n,o)]
[f(X,Y])+f(I,J)-f(S,T)-f(L,M)]-[f(S,T)+f(H,K)-f(I,J)-f(N,O)]
可见两个不同大小的特征计算量却一样！！！

这里写图片描述

titled sum类积分图计算的是45°旋角的矩形特征。为了便于计算45°旋角的矩形特征，我们定义titled sum类积分图中(x,y)点值为RSAT(x,y)，它表示原始图像中(x,y)左上角45°区域和左下角45°区域的像素和。
这里写图片描述
用公式表示如下：
$RSAT(x,y)=$$\sum\limits_{i \leq x,i\leq x-|y-j|} p(i,j) $$$
对于每一点的积分图计算方法有如下递推公式，来节约性能，减少生重复计算：
$RSAT(x,y)=$RSAT(x-1,y-1)+RSAT(x-1,y+1)-RSAT(x-2,y)+p(x,y)+p(x-1,y)$$

而计算矩阵特征的特征值，是位于十字行矩形RSAT(x,y)之差。如下图的矩形特征为：
[RSAT(m,n)-RSAT(i,j)-RSAT(k,l)+RSAT(s,t)]-[RSAT(o,p)-RSAT(m,n)-RSAT(x,y)+RSAT(k,l)]
这里写图片描述

同理，该积分图也能够在多种尺度下，使用相同的时间（常数时间）来计算不同的45度矩形特征。

Haar特征对应的opencv源码

Viola提出的haar特征：
这里写图片描述

Lienhart等牛们提出的Haar-like特征：
这里写图片描述

opencv源码中负责创建几种haar特征的是函数icvCreateIntHaarFeatures，在进入分类器训练函数后执行该函数，它根据大小为winsize的图，计算所有HaarFeature的rect的顶点坐标来确定特征并将它存入CvIntHaarFeatures结构体数组中。后续针对不同的图像只需用这些矩形框的顶点来获得积分图在该点的值就可以计算也图像该特征的具体值了。symmetric为0时表示创建所有特征，为1时表示目标图形是垂直对称的所以只需创建所有中心在左半边部位的特征。mode==0表示Viola提出的原始矩形特征，mode==1表示所有垂直的haar特征，mode==2表示所有特征

具体每种特征的名称如下图：：
这里写图片描述