图像的矩特征

最新推荐文章于 2020-11-29 11:14:22 发布

转载最新推荐文章于 2020-11-29 11:14:22 发布 · 2.3k 阅读

本文深入探讨了图像识别中用于描述图像特征的不变矩和Zernike矩，阐述了它们的计算原理与应用。通过比较Hu矩和Zernike矩在图像旋转、噪声和模糊条件下的表现，揭示了Zernike矩在某些场景下优于Hu矩的特性。文章还提供了使用OpenCV计算Hu矩的方法，并展示了不同图像状态下的矩计算结果。

FROM：http://www.cnblogs.com/ronny/p/3985810.html

1. 矩的概念

图像识别的一个核心问题是图像的特征提取，简单描述即为用一组简单的数据（图像描述量）来描述整个图像，这组数据越简单越有代表性越好。良好的特征不受光线、噪点、几何形变的干扰。图像识别发展几十年，不断有新的特征提出，而图像不变矩就是其中一个。

矩是概率与统计中的一个概念，是随机变量的一种数字特征。设 X 为随机变量， c 为常数， k 为正整数。则量 E[(x−c)k] 称为 X 关于 c 点的 k 阶矩。

比较重要的有两种情况：

1. c=0 。这时 ak=E(Xk) 称为 X 的 k 阶原点矩

2. c=E(X) 。这时 μk=E[(X−EX)k] 称为 X 的 k 阶中心矩。

一阶原点矩就是期望。一阶中心矩 μ1=0 ，二阶中心矩 μ2 就是 X 的方差 Var(X) 。在统计学上，高于4阶的矩极少使用。 μ3 可以去衡量分布是否有偏。 μ4 可以去衡量分布（密度）在均值附近的陡峭程度如何。

针对于一幅图像，我们把像素的坐标看成是一个二维随机变量 (X,Y) ，那么一幅灰度图像可以用二维灰度密度函数来表示，因此可以用矩来描述灰度图像的特征。

不变矩(Invariant Moments)是一处高度浓缩的图像特征，具有平移、灰度、尺度、旋转不变性。M.K.Hu在1961年首先提出了不变矩的概念。1979年M.R.Teague根据正交多项式理论提出了Zernike矩。下面主要介绍这两种矩特征的算法原理与实现。

2. Hu矩

一幅 M×N 的数字图像 f(i,j) ，其 p+q 阶几何矩 mpq 和中心矩 μpq 为：

m p q = \sum i = 1 M \sum j = 1 N i p j q f (i, j)

μ p q = \sum i = 1 M \sum j = 1 N (i - i ¯) p (j - j ¯) q f (i, j)

其中 f(i,j) 为图像在坐标点 (i,j) 处的灰度值。 i¯=m10/m00,j¯=m01/m00

若将 m00 看作是图像的灰度质量，则 (i¯,j¯) 为图像的质心坐标，那么中心矩 μpa 反映的是图像灰度相对于其灰度质心的分布情况。可以用几何矩来表示中心矩，0~3阶中心矩与几何矩的关系如下：

μ00=∑Mi=1∑Nj=1(i−i¯)0(j−j¯)0f(i,j)=m00

μ10=∑Mi=1∑Nj=1(i−i¯)1(j−j¯)0f(i,j)=0

μ01=∑Mi=1∑Nj=1(i−i¯)0(j−j¯)1f(i,j)=0

μ11=∑Mi=1∑Nj=1(i−i¯)1(j−j¯)1f(i,j)=m11−y¯m10

μ20=∑Mi=1∑Nj=1(i−i¯)2(j−j¯)0f(i,j)=m20−y¯m01

μ02=∑Mi=1∑Nj=1(i−i¯)0(j−j¯)2f(i,j)=m02−y¯m01

μ30=∑Mi=1∑Nj=1(i−i¯)3(j−j¯)0f(i,j)=m30−2x¯m20+2x¯2m10

μ12=∑Mi=1∑Nj=1(i−i¯)1(j−j¯)2f(i,j)=m12−2y¯m11−x¯m02+2y¯2m10

μ21=∑Mi=1∑Nj=1(i−i¯)2(j−j¯)1f(i,j)=m21−2x¯m11−y¯m20+2x¯2m01

μ03=∑Mi=1∑Nj=1(i−i¯)0(j−j¯)3f(i,j)=m03−2y¯m02+2y¯2m01

为了消除图像比例变化带来的影响，定义规格化中心矩如下：

η p q = μ p a μ γ 00, (γ = p + q 2, p + q = 2, 3, \dots)

利用二阶和三阶规格中心矩可以导出下面7个不变矩组 (Φ1 Φ7) ，它们在图像平移、旋转和比例变化时保持不变。

Φ1=η20+η02

Φ2=(η20−η02)2+4η211

Φ3=(η20−3η12)2+3(η21−η03)2

Φ4=(η30+η12)2+(η21+η03)2

Φ5=(η30+3η12)(η30+η12)[(η30+η12)2−3(η21+η03)2]+(3η21−η03)(η21+η03)[3(η30+η12)2−(η21+η03)2]

Φ6=(η20−η02)[(η30+η12)2−(η21+η03)2]+4η11(η30+η12)(η21+η03)

Φ7=(3η21−η03)(η30+η12)[(η30+η12)2−3(η21+η03)2]+]+(3η12−η30)(η21+η03)[3(η30+η12)2−(η21+η03)2]

3. 利用OpenCV计算Hu矩

opencv里对Hu矩的计算有直接的API，它分为了两个函数：moments()函数用于计算中心矩，HuMoments函数用于由中心矩计算Hu矩。

Moments moments(InputArray array, bool binaryImage=false )

参数说明

输入参数：array是一幅单通道，8-bits的图像，或一个二维浮点数组(Point of Point2f)。binaryImage用来指示输出图像是否为一幅二值图像，如果是二值图像，则图像中所有非0像素看作为1进行计算。
输出参数：moments是一个类：

class Moments
{
public:
    Moments();
    Moments(double m00, double m10, double m01, double m20, double m11,
            double m02, double m30, double m21, double m12, double m03 );
    Moments( const CvMoments& moments );
    operator CvMoments() const;
}

里面保存了图像的2阶与3阶中心矩的值。

void HuMoments(const Moments& moments, double* hu)

参数说明：

输入参数：moments即为上面一个函数计算得到的moments类型。
输出参数：hu是一个含有7个数的数组。

int main(int argc, char** argv) 
{ 
    Mat image = imread(argv[1]);  
    cvtColor(image, image, CV_BGR2GRAY); 
    Moments mts = moments(image); 
    double hu[7]; 
    HuMoments(mts, hu); 
    for (int i=0; i<7; i++) 
    { 
        cout << log(abs(hu[i])) <<endl; 
    } 
   return 0; 
}

上面代码中，最终输出的值为 log|Φi|

我们分别计算一幅图像在，旋转，噪声与模糊时的Hu矩。

类别	log\|Φ1\|	log\|Φ2\|	log\|Φ3\|	log\|Φ4\|	log\|Φ5\|	log\|Φ6\|	log\|Φ7\|
原图	-6.76181	-19.1286	-23.7441	-26.776	-51.7618	-35.8491	-51.534
旋转	-6.72102	-19.0844	-23.5756	-25.9122	-51.4619	-35.4595	-50.7674
加放噪点	-6.76086	-19.1255	-23.7611	-26.3228	-51.5056	-35.895	-51.6321
模糊	-6.76183	-19.1295	-23.7451	-26.2767	-51.765	-35.8484	-51.5307

4. Zernike矩

Hu矩在图像描述上有广泛的应用，但是其低阶几何矩与图像整体特征有关，不包含太多的图像细节信息，而高阶几何矩易受噪声影响，因此很难利用几何矩恢复图像。

Zernike矩能够很容易地构造图像的任意高阶矩，并能够使用较少的矩来重建图像。Zernike矩是基于Zernike多项式的正交化函数，虽然其计算比较复杂，但是Zernide矩在图像旋转和低噪声敏感度方面具有较大的优越性。由于Zernike矩具有图像旋转不变性，而且可以构造任意高阶矩，所以被广泛应用对目标进行识别中。

4.1 Zernike矩多项式

首先要弄清楚什么是正交多项式。若函数 W(x) 在区间 (a,b) 可积，且 W(x)≥0 ，则可作为权函数。

对于一个多项式的序列 fi 和权函数 W(x) ，定义内积： <fm,fn>=∫bafm(x)fn(x)W(x)dx

若 n≠m,<fm,fn>=0 ，这些多项式则称为正交多项式。若 fi 除了正交之外，更有 <fm,fn>=1 的话，则称为规范正交多项式。

那么正交多项式有什么作用呢？答案是：逼近！正交多项式相当于基，任何一个n维多项式函数 f(x) 都可以用一组正交多项式加权求和来逼近。

Zernike在1934年提出了在单位圆上定义的一组正交多项式，即Zernike正交多项式，其定义形式为：

R n m (ρ) = \sum s = 0 (n - | m |) / 2 ( - 1 ) s [ ( n - s ) ! ] ρ n - 2 s s ! ( n + | m | 2 - s ) ! ( n + | m | 2 + s ) !

V n m (x, y) = V n m (ρ, θ) = R n m (ρ) e j m θ

其中 Rnm(ρ) 表示点 (x,y) 的径向多项式， Vnm(x,y) 为Zernike正交多项式， n,m 为正交多项式的阶数， n 是非负整数， n−|m| 是偶数，并且 n≥|m| 。

Zernike多项式 Vnm(x,y)=Vnm(ρ,θ) 是定义在单位圆 x2+y2≤1 上的正交复函数的集合，具有重要的递推性质，即 Rnm 可由 R(n−2)m 和 R(n−4)m 得到，公式如下：

R n m (ρ) = [ ( K 2 2 ρ 2 + K 3 ) R ( n - 2 ) m ( ρ ) + K 4 R ( n - 4 ) m ( ρ ) ] K 1

R m m (ρ) = ρ m

式中： K1=(n+1)(n−1)(n−2)/2,K2=2n(n−1)(n−2),K3=−(n−1)3,K4=−n(n−1)(n−3)/2 。

4.2 Zernike矩的定义

由于Zernike多项式的正交完备性，所以在单位圆内的任何图像 f(x,y) 都可以唯一的用下面式子展开：

f (x, y) = \sum n = 0 \infty \sum m = 0 \infty Z n m V n, m (ρ, θ)

上式中的 Znm 就是Zernike矩。

对二维函数 f(x,y) 的Zernike矩的定义如下：

Z n m = n + 1 π \int 10 \int 2 π 0 [V n m (ρ, θ)] f (ρ, θ) ρ d y d x d ρ d θ

= n + 1 π \iint R n m (ρ) e j m θ f (ρ, θ) d ρ d θ

式中 ρ=x2+y2−−−−−−√(−1<x,y<1) ， θ 为轴 x 与 ρ 矢量在逆时针方向的夹角； Rnm(ρ) 表示点 (x,y) 的径向多项式。

4.3 Zernike矩的计算

从Zernike矩的计算公式上来看，对于二维图像，其Zernike矩 Znm 为复数，将其实部和虚部分别记为 Cnm 和 Snm ，则有：

C n m = 2 n + 2 π \int 10 \int 2 π 0 [R n m (ρ) c o s (m θ) f (ρ, θ) ρ d ρ d θ

C n m = 2 n + 2 π \int 10 \int 2 π 0 [R n m (ρ) s i n (m θ) f (ρ, θ) ρ d ρ d θ

因为数字图像是离散形式的点，所以需要将上式离散化，把积分号换为求和号，但是需要作一些坐标变换。

对于 N×N 的图像 f(x,y) ，令坐标原点位于图像的中心，则 −N/2≤x,y≤N/2 ，对于像素 (x,y) ，引入2个参数 (r,σ) ，唯一对应于像素，其定义为：

r=max(|x|,|y|)

如果 |x|=r ，则：

σ = 2 ( r - x ) y | y | + x y r

如果 |y|=r ，则：

σ = 2 y - x y r

我们容易计算出， r 的取值范围为 1∼N/2 ， σ 的取值范围是 1∼8r ，再根据参数 (r,σ) 定义相应的极坐标：

ρ = 2 r / N, θ = π σ (4 r)

所以，最终我们得到离散化的Zernike矩的计算公式：

C n m = 2 n + 2 N 2 \sum r = 1 N / 2 R n m (2 r / N) \sum σ = 1 8 r c o s π m σ 4 r f (r, σ)

S n m = 2 n + 2 N 2 \sum r = 1 N / 2 R n m (2 r / N) \sum σ = 1 8 r s i n π m σ 4 r f (r, σ)

1. 确定图像的大小 N×N ，即公式中的 N ；

2. 确定 r,σ 的范围；

3. 利用Zernike多项式的递推性质计算各阶 Rnm(ρ) ，并结合上面Zernike矩计算公式，算出 Cnm,Snm

4. 对 Cnm,Snm 求模，进而计算得到 |Znm|

现在我们用Zernike矩来计算美女图像在4种状态下的值：

类别	log\|Z11\|	log\|Z20\|	log\|Z22\|	log\|Z31\|	log\|Z40\|	log\|Z42\|	log\|Z44\|
原图	11.1732	13.8469	12.3515	12.4391	14.2782	12.6137	11.5745
旋转	12.3036	13.8309	13.5861	12.0467	13.1320	13.8396	12.7862
加放噪点	11.1538	13.8490	12.3315	12.4316	14.2730	12.5925	11.5591
模糊	11.1636	13.8465	12.3480	12.4367	14.2799	12.6130	11.5752