38、非欧几里得差异：成因与信息价值

非欧几里得差异：成因与信息价值

在模式识别系统的设计过程中，基于对象间成对差异的表示方法是一种自然且有吸引力的选择，尤其是在难以找到一组有区分性的特征时。然而，在许多应用中，专家构建的差异度量往往呈现出非欧几里得的特性。本文将深入探讨非欧几里得差异的成因，并通过实验验证其信息价值。

1. 引言

差异是表示对象的一种自然方式，甚至有人认为它比特征更为基础。差异在有监督和无监督学习中都有研究，作为使用特征构建表示的替代方法，它在两种情况下特别有用：一是当没有明确的属性可作为特征时；二是当对象可以进行全局比较时，如图像中的形状、时间信号或光谱。基于差异关系的分类器有时能优于最近邻方法或模板匹配。

构建向量空间的两种主要方法：
- 差异空间 ：假设一个欧几里得空间，其中特征由与一组代表性对象的差异定义。
- 线性嵌入 ：将给定的差异矩阵线性嵌入到一个空间中。

然而，在许多应用中，非欧几里得甚至非度量的差异被广泛使用，因为它们在模板匹配中表现出色。非欧几里得距离只能近似嵌入到欧几里得空间中，Goldfarb提出了一种伪欧几里得（PE）嵌入方法，但对于PE空间中一些分类器与密度的关系尚不明确。

2. 差异表示

传统上，差异度量通常针对最近邻分类性能进行优化，并广泛用于层次聚类分析。后来，差异矩阵用于构建向量空间和计算分类器。近年来，一些接近度度量被设计用于更通用的分类器，如支持向量机（SVM）。本文主要关注针对最近邻分类器优化的差异度量。

2.1 差异空间

设 $X = {o_1, \ldo