18、支持向量机在特征袋模型中的应用：核视角

支持向量机在特征袋模型中的应用：核视角

在图像分类领域，支持向量机（SVM）与特征袋（Bag-of-Features）模型的结合是一种常见且有效的方法。本文将深入探讨不同核函数在这一模型中的应用，以及如何对基于直方图的非线性核进行近似，以提高计算效率和分类性能。

1. 核函数在图像分类中的应用

在图像分类任务中，核函数起着至关重要的作用。不同的核函数具有不同的特性，会对分类性能产生显著影响。

1.1 调整参数对核函数衰减率的影响

调整参数 $ab$ 可以有效地改变核值相对于扰动的衰减率。常见的高斯径向基函数（RBF）核具有二次指数衰减率，而拉普拉斯 RBF 核具有线性指数衰减率。实验研究表明，在基于颜色直方图的图像分类中，减小 $a$ 和 $b$ 的值可以有效提高 SVM 的分类性能。在 Corel 图像数据集上，当 $a = 0.25$ 和 $b = 1$ 时，SVM 取得了最佳性能，且明显优于使用高斯 RBF 核的情况。需要注意的是，$a$ 的变化不会影响非高斯 RBF 核成为有效的 Mercer 核，而 $b$ 必须限制在 0 到 2 之间，以满足 Mercer 条件。拉普拉斯 RBF 核在特征袋模型的图像分类中也取得了不错的分类效果。

1.2 $\chi^2$-径向基函数核

$\chi^2$-RBF 核可以追溯到数理统计中用于比较两个分布的 $\chi^2$ 检验。$\chi^2$ 用于评估两个直方图之间的差异，定义为：
[
\chi^2(z_i,z_j) = \sum_{l=1}^{|V|} \frac{(z_{il} - z_{jl})^2}{z_{il} + z_{jl}}