38、非欧几里得差异：成因与信息价值

关注

原创最新推荐文章于 2026-08-20 10:27:49 发布 47 阅读 AI 写同款· GEO 优化 ›

非欧几里得差异：成因与信息价值

在模式识别系统的设计过程中，基于对象间成对差异的表示方法是一种自然且有吸引力的选择，尤其是在难以找到一组有区分性的特征时。然而，在许多应用中，专家构建的差异度量往往呈现出非欧几里得的特性。本文将深入探讨非欧几里得差异的成因，并通过实验验证其信息价值。

1. 引言

差异是表示对象的一种自然方式，甚至有人认为它比特征更为基础。差异在有监督和无监督学习中都有研究，作为使用特征构建表示的替代方法，它在两种情况下特别有用：一是当没有明确的属性可作为特征时；二是当对象可以进行全局比较时，如图像中的形状、时间信号或光谱。基于差异关系的分类器有时能优于最近邻方法或模板匹配。

构建向量空间的两种主要方法：
- 差异空间 ：假设一个欧几里得空间，其中特征由与一组代表性对象的差异定义。
- 线性嵌入 ：将给定的差异矩阵线性嵌入到一个空间中。

然而，在许多应用中，非欧几里得甚至非度量的差异被广泛使用，因为它们在模板匹配中表现出色。非欧几里得距离只能近似嵌入到欧几里得空间中，Goldfarb提出了一种伪欧几里得（PE）嵌入方法，但对于PE空间中一些分类器与密度的关系尚不明确。

2. 差异表示

传统上，差异度量通常针对最近邻分类性能进行优化，并广泛用于层次聚类分析。后来，差异矩阵用于构建向量空间和计算分类器。近年来，一些接近度度量被设计用于更通用的分类器，如支持向量机（SVM）。本文主要关注针对最近邻分类器优化的差异度量。

2.1 差异空间

设 $X = {o_1, \ldots, o_n}$ 是一组训练对象，给定一个差异函数和/或差异数据，定义一个数据相关的映射 $D(\cdot, R) : X \to R^k$ 到差异空间。这里选择 $R := X$，每个对象由一个 $n$ 维向量 $D(o, X) = [d(o, o_1) \ldots d(o, o_n)]^T$ 描述，即给定差异矩阵 $D$ 的行。所得向量空间具有传统的内积和欧几里得度量，需要如SVM这样的分类器来处理这种情况。

2.2 伪欧几里得嵌入空间

伪欧几里得（PE）空间 $E = R^{(p,q)} = R^p \oplus R^q$ 是一个具有非退化不定内积 $\langle \cdot, \cdot \rangle_E$ 的向量空间，其中 $\langle \cdot, \cdot \rangle_E$ 在 $R^p$ 上正定，在 $R^q$ 上负定。

任何对称的 $n \times n$ 差异矩阵 $D$ 都可以嵌入到一个 $(n - 1)$ 维的PE空间中。通过特征值分解得到 $p$ 个正特征值和 $q$ 个负特征值 $\lambda_j$，$p + q = n - 1$。使用负特征值分数（NEF）来衡量差异矩阵的非欧几里得行为：
[NEF = \frac{\sum_{j = p + 1}^{p + q} |\lambda_j|}{\sum_{i = 1}^{p + q} |\lambda_i|} \in [0, 1]]

如果将负特征值视为噪声或误差的结果，可以忽略它们，计算一个“校正”的差异矩阵 $D_p$：
[d_{Ep}^2(x, y) = (x_p - y_p)^T (x_p - y_p)]
其中 $x_p, y_p$ 是向量 $x, y$ 在子空间 $R^p$ 上的投影。为了研究负特征值的可能贡献，可以计算残差：
[d_{Eq}^2(x, y) = -(x_q - y_q)^T (x_q - y_q)]
其中 $x_q, y_q$ 是向量 $x, y$ 在子空间 $R^q$ 上的投影。完整的差异矩阵 $D$ 可以分解为：
[D^{ 2} = D_p^{ 2} - D_q^{*2}]

3. 非欧几里得差异度量的成因

非欧几里得度量在许多领域都很常见，如概率距离度量、马氏类距离和相关的Fisher准则等。在形状识别中，基于加权编辑距离、Hausdorff距离变体或非线性变形的差异度量大多具有非欧几里得行为。在模板匹配中，差异度量的欧几里得行为通常不是关注的重点，但随着SVM的流行，设计满足Mercer条件的核变得重要。

3.1 非内在非欧几里得差异

数值不准确 ：由于使用有限字长导致的数值不准确，可能使本应在嵌入过程中为零的特征值变为负数。建议忽略对应于非常小的正特征值和负特征值的维度。
大距离高估 ：从原始数据（如图像）中导出差异时，复杂的度量可能会高估大距离，使原本欧几里得的距离度量变得非欧几里得甚至非度量。
小距离低估 ：对象的成对比较基于不同属性时，可能会低估小距离，产生与大距离高估相同的结果。

3.2 内在非欧几里得差异

非欧几里得差异 ：从应用角度考虑，可能需要使用非欧几里得的度量，如能量谱之间的 $l_1$ 距离。
不变量 ：通常关注的是对象等价类之间的差异，定义为所有不变量定义的集合之间的最小差异。这种度量可能违反三角不等式，是非度量的。
向量集 ：复杂对象（如多区域图像）可以用向量集表示，向量集之间的距离度量大多是非欧几里得或非度量的，如单链接程序。

4. 信息价值

非欧几里得差异度量是否具有信息价值是一个不同于“非欧几里得度量是否优于欧几里得度量”的问题。即使一个特定的度量不是最好的，其非欧几里得特征也可能具有信息价值，因为去除该特征可能会导致性能下降。

如果通过去除非欧几里得特征可以提高分类结果，则认为该差异度量的非欧几里得特征是非信息性的。传统的去除非欧几里得特征的方法是忽略伪欧几里得嵌入中的负特征向量，即使用伪欧几里得空间正部分重新计算的差异 $D_p$。基于 $D_q$ 的差异表示可以隔离给定差异矩阵 $D$ 的非欧几里得特征，用于检查嵌入中去除部分是否存在类可分性。

为了验证这一点，分析了一组公共领域的差异矩阵以及一些人工生成的矩阵。计算了基于原始、“正”和“负”差异 $D$、$D_p$ 和 $D_q$ 的线性SVM的分类误差，误差估计基于留一法交叉验证。

数据集	大小	类别数	非度量性	NEF	随机误差	原始 $D$	正部分 $D_p$	负部分 $D_q$
Chickenpieces45	446	5	0	0.156	0.791	0.022	0.132	0.175
Chickenpieces60	446	5	0	0.162	0.791	0.020	0.067	0.173
Chickenpieces90	446	5	0	0.152	0.791	0.022	0.052	0.148
Chickenpieces120	446	5	0	0.130	0.791	0.034	0.108	0.148
FlowCyto	612	3	1e - 5	0.244	0.598	0.103	0.100	0.327
WoodyPlants50	791	14	5e - 4	0.229	0.928	0.075	0.076	0.442
CatCortex	65	4	2e - 3	0.208	0.738	0.046	0.077	0.662
Protein	213	4	0	0.001	0.718	0.005	0.000	0.634
Balls3D	200	2	3e - 4	0.001	0.500	0.470	0.495	0.000
GaussM1	500	2	0	0.262	0.500	0.202	0.202	0.228
GaussM02	500	2	5e - 4	0.393	0.500	0.204	0.174	0.252
CoilYork	288	4	8e - 8	0.258	0.750	0.267	0.313	0.618
CoilDelftSame	288	4	0	0.027	0.750	0.413	0.417	0.597
CoilDelftDiff	288	4	8e - 8	0.128	0.750	0.347	0.358	0.691
NewsGroups	600	4	4e - 5	0.202	0.733	0.198	0.213	0.435
BrainMRI	124	2	5e - 5	0.112	0.499	0.226	0.218	0.556
Pedestrians	689	3	4e - 8	0.111	0.348	0.010	0.015	0.030

这些实验结果表明，非欧几里得差异度量在某些情况下确实具有信息价值，能够为分类提供额外的信息。

综上所述，非欧几里得差异度量的研究对于理解和设计更有效的模式识别系统具有重要意义。在实际应用中，需要根据具体问题选择合适的差异度量和分类方法，充分利用非欧几里得差异的信息价值。

下面是一个简单的mermaid流程图，展示了非欧几里得差异度量的分析过程：

graph TD;
    A[选择差异度量] --> B[计算差异矩阵];
    B --> C[进行PE嵌入];
    C --> D[计算NEF];
    D --> E{NEF是否大};
    E -- 是 --> F[分析非欧几里得成因];
    E -- 否 --> G[使用欧几里得度量];
    F --> H[设计分类器];
    G --> H;
    H --> I[评估分类性能];

这个流程图展示了从选择差异度量到评估分类性能的整个过程，根据NEF的大小决定是否分析非欧几里得成因。

通过以上的分析和实验，我们可以更深入地理解非欧几里得差异的成因和信息价值，为模式识别系统的设计提供更有力的支持。

非欧几里得差异：成因与信息价值

5. 非欧几里得差异度量在分类中的进一步分析

在前面的实验中，我们看到了不同数据集上非欧几里得差异度量在分类中的表现。接下来，我们将进一步分析这些结果，探讨非欧几里得差异度量在分类中的作用机制。

5.1 不同数据集的特点分析

Chickenpieces系列数据集 ：这四个数据集是基于加权编辑距离在图像块之间的差异计算得到的。从实验结果来看，正部分 $D_p$ 的分类误差随着数据规模的增大而减小，这可能是因为随着数据量的增加，正部分所包含的有效信息更加稳定，能够更好地用于分类。而负部分 $D_q$ 的误差相对较大且波动较小，说明负部分所包含的信息对于分类的贡献相对有限，但也可能包含一些特殊的信息，在某些情况下可以作为补充。
FlowCyto数据集 ：该数据集是四种特定直方图差异的平均值，并进行了自动校准校正。其正部分和负部分的误差都相对较小，且正部分的误差略小于负部分，这表明在这个数据集中，正部分和负部分都包含了一定的分类信息，但正部分的信息更为关键。
WoodyPlants50数据集 ：此数据集是木本植物叶子形状差异的子集。可以看到，正部分和负部分的误差都比较小，且两者的误差相近。这可能意味着在这个数据集中，非欧几里得特征在正部分和负部分都有体现，并且对分类的贡献相当。

5.2 非欧几里得特征与分类性能的关系

为了更直观地观察非欧几里得特征与分类性能的关系，我们可以绘制NEF与分类误差的散点图。通过分析散点图，我们可以发现：
- 当NEF较小时，分类误差并不一定就小。这说明即使非欧几里得特征的影响较小，也不能保证分类性能就好，还可能受到其他因素的影响，如数据的分布、特征的选择等。
- 当NEF较大时，分类误差的波动较大。这表明非欧几里得特征在这种情况下可能对分类产生较大的影响，既可能提高分类性能，也可能降低分类性能，具体取决于非欧几里得特征所包含的信息是否与分类任务相关。

6. 基于非欧几里得差异度量的分类器设计建议

根据前面的分析，我们可以为基于非欧几里得差异度量的分类器设计提供以下建议：
- 考虑非欧几里得特征的影响 ：在设计分类器时，不能忽视非欧几里得特征的存在。可以通过计算NEF等指标来评估非欧几里得特征的影响程度，并根据评估结果决定是否需要对非欧几里得特征进行处理。
- 结合正部分和负部分的信息 ：在某些情况下，正部分和负部分都包含了对分类有用的信息。可以尝试将正部分和负部分的信息进行结合，例如通过加权求和的方式，来提高分类性能。
- 选择合适的分类器 ：不同的分类器对非欧几里得特征的适应能力不同。例如，线性SVM在处理非欧几里得数据时可能会受到一定的限制，而一些非线性分类器可能更适合处理非欧几里得数据。因此，在选择分类器时，需要根据数据的特点和非欧几里得特征的影响程度来进行选择。

7. 未来研究方向

虽然我们对非欧几里得差异度量的成因和信息价值进行了一定的研究，但仍有许多问题值得进一步探讨。以下是一些未来的研究方向：
- 更深入的非欧几里得特征分析 ：目前我们主要通过NEF来衡量非欧几里得特征的影响程度，但这可能不够全面。未来可以研究更复杂的指标来更准确地描述非欧几里得特征的特点和影响。
- 新型分类器的设计 ：针对非欧几里得数据的特点，设计更有效的分类器。例如，可以研究基于深度学习的分类器在非欧几里得数据上的应用，探索如何利用深度学习的强大特征提取能力来处理非欧几里得数据。
- 多模态数据中的非欧几里得差异度量 ：在实际应用中，数据往往是多模态的，如图像、文本、音频等。未来可以研究多模态数据中的非欧几里得差异度量，以及如何将不同模态的数据进行融合，以提高分类性能。

8. 总结

本文深入探讨了非欧几里得差异度量的成因和信息价值。我们发现非欧几里得度量在许多领域都很常见，其成因包括非内在和内在两方面。通过实验验证，非欧几里得差异度量在某些情况下具有信息价值，能够为分类提供额外的信息。

在实际应用中，我们需要根据具体问题选择合适的差异度量和分类方法，充分利用非欧几里得差异的信息价值。同时，未来的研究可以进一步深入分析非欧几里得特征，设计更有效的分类器，以及探索多模态数据中的非欧几里得差异度量。

另外，我们再给出一个mermaid流程图，展示基于非欧几里得差异度量设计分类器的流程：

graph TD;
    A[收集数据] --> B[计算差异矩阵];
    B --> C[进行PE嵌入];
    C --> D[分析非欧几里得成因];
    D --> E[设计分类器策略];
    E --> F{结合正部分和负部分信息?};
    F -- 是 --> G[加权融合信息];
    F -- 否 --> H[仅用正部分信息];
    G --> I[训练分类器];
    H --> I;
    I --> J[评估分类性能];
    J --> K{性能是否满足要求};
    K -- 是 --> L[应用分类器];
    K -- 否 --> E;

这个流程图展示了从收集数据到应用分类器的整个过程，其中包括了对非欧几里得成因的分析、信息的融合以及分类器的训练和评估等步骤，并且根据分类性能决定是否需要调整分类器策略。

通过以上的研究和分析，我们对非欧几里得差异度量有了更深入的理解，为模式识别系统的设计提供了更有价值的参考。