9、非监督式非线性缩放参数估计以提升相异空间分类性能

非监督式非线性缩放参数估计以提升相异空间分类性能

1. 引言

在统计模式识别中，传统上对象被表示为向量，其元素对应于特征的数值，即对象是特征空间中的点。然而，从符号数据（如图形和语法）或原始传感器测量（如信号和图像）中提取特征往往很困难，甚至不清楚如何提取。

作为替代方案，测量对象对之间的相异度并将其组织成向量，使每个对象在所谓的相异空间中表示为一个点，在这个空间中可以训练和应用任何分类器。相异度表示属于（不）相似模式识别领域，近年来得到了积极研究。

在许多模式分类问题中，通常需要对特征空间进行归一化，常见方法是对向量空间的轴进行线性缩放。但在相异空间中，由于所有特征本质相同，线性缩放的重要性较低。不过，更复杂的缩放操作，如非线性变换，对分类有很大帮助。

研究发现，对给定相异度进行幂变换的非线性缩放有助于提高相异空间中最近邻分类的性能。将相异度提升到小于 1 的幂次通常能改善分类效果，这是因为：
- 对象之间的距离趋于相等。
- 到离群点的距离缩小。
- 通过强调近邻对象之间的距离来扩大每个对象的邻域。

然而，确定合适的幂参数是一个关键问题，传统方法如手工设置、穷举搜索或交叉验证，存在计算成本高和无法解释缩放拓扑效应等问题。本文提出了一种新颖的无监督准则，用于指导幂变换参数的选择。

2. 背景知识

2.1 相异空间

将特定对象 x 与参考集 R 中其他对象的相异度计算结果排列成向量，可将 x 表示为向量空间中的一个点，这个空间称为相异空间，其维度与参考集 R 的基数相同。对于训练对象集 T，参考集 R 构成一个相异度矩阵 D(T, R)，通常