12、基于MMSR的夜视图像分类技术解析

基于MMSR的夜视图像分类技术解析

1. 正则化与MR方法

在处理输入样本不足时的不稳定性问题，正则化是一种有效的解决手段。通过向公式中添加适度的先验信息，正则化技术能使解决方案更加稳定。近年来，正则化理论在机器学习领域取得了显著成就。

Belkin等人将潜在的样本分布信息引入传统正则化，从而得到了流形正则化（MR），其中包括LapRLS和LapSVM。MR利用概率分布的几何结构，并将其作为新的正则化项。它引入了谱图理论、流形学习算法中体现的几何观点以及正则化项。

部分半监督学习算法需要同时使用训练集和测试集，这类算法被称为直推式学习算法。而更自然的半监督学习算法要求训练集仅包含有标签和无标签的样本，在训练过程中不使用测试集。MR为这种情况提供了一个成功的框架。

MR通过最小化损失函数来寻找最优分类函数：
[
\min_{f \in H_k}\left{\frac{1}{l}\sum_{i = 1}^{l}V(x_i, y_i, f) + \gamma_A|f| A^2 + \gamma_l|f|_l^2\right}
]
其中，$V(x_i, y_i, f)$ 是MR的损失函数，对于正则化最小二乘法使用平方损失函数 $(y_i - f(x_i))^2$，对于支持向量机（SVM）使用合页损失函数 $\max[0, 1 - y_i f(x_i)]$。$|f|_A^2$ 是MR的正则化项，用于控制分类器的复杂度以避免过拟合；$|f|_l^2$ 是另一个MR正则化项，用于控制样本分布的平滑性。在大多数半监督学习算法中，$|f|_l^2$ 表示为：
[
|f|_l^2 = \frac{1}{2}\s