38、基于直方图特征熵选择的高效分类方法

基于直方图特征熵选择的高效分类方法

1. 引言

在众多模式识别和计算机视觉应用中，基于直方图的局部图像特征被广泛运用。在目标检测、分类或识别算法里，这些特征通常会与高效的分类技术相结合。像局部二值模式（LBP）和方向梯度直方图（HOG）等直方图特征，因易于计算且对小变形和光照变化具有鲁棒性，在许多应用中被广泛采用。

不过，传统的整体分类方法存在计算成本高的问题。这是因为要么需要在大量位置提取特征，要么组合后的特征向量维度高，导致分类速度缓慢。为解决这些问题，可以将特征提取步骤限制在具有高分类判别能力的网格位置。在每个位置训练一个弱学习器，多个弱学习器组合可构成一个强分类器，从而实现高分类性能。AdaBoost 就是一种常用的提升弱学习器的技术，已成功应用于人脸检测等任务。

此外，基于条件互信息（CMI）的二进制特征选择技术，能利用信息论的基本概念来量化随机变量的不确定性和测量它们之间的共享信息。该技术可以选择最能描述训练数据且与之前选择的特征最独立的特征，还能有效应对过拟合问题，而 AdaBoost 对过拟合较为敏感。Fisher 线性判别（FLD）分析常用于寻找能最佳分离两个目标类别的直方图特征投影。

本文提出的方法采用了基于 CMI 的特征选择技术，并在特征选择过程中优化弱学习器的参数，以进一步提高分类准确率。同时，引入了更新样本权重的新方法和对 CMI 特征选择进行成本敏感修改，以提高不平衡数据集的分类准确率。

2. 使用 WFLD 的分类器学习

2.1 相关定义

设 $X = {x_1, \ldots, x_N}$ 为 $N$ 个训练图像的集合，每个图像 $x_i$ 具有二进制类别标签