球面嵌入与分类:解决非欧几里得相似度度量问题
1. 引言
在模式识别领域,许多问题都可以通过测量一组对象之间的差异来解决。这种方法具有很强的通用性,是经典基于特征方法的超集。几乎所有的识别方法都涉及测量差异或距离,并在此基础上进行分类。
一种常见的处理方式是使用多维缩放或 IsoMap 等技术将对象嵌入到向量空间中。嵌入后,对象可以通过其坐标向量来表征,并使用欧几里得距离进行常规分析。然而,这种范式存在一定的局限性,因为欧几里得距离总是确定的,本质上无法准确表示不确定的差异。
在实际应用中,许多差异度量是不确定的,例如形状相似度、手势解释和图比较中使用的距离度量等。对于不确定的差异数据,有几种处理方法:
-
数据修正
:去除不确定部分,但这样可能会丢失有用信息,导致性能下降。
-
伪欧几里得空间嵌入
:某些维度具有负特征值,平方距离由正负分量组成。但这种空间是非度量的,难以正确计算许多分类器所需的几何量,因为局部性无法得到保证。
-
非欧几里得但度量的嵌入空间
:本文探索将对象嵌入到具有球面几何的超球面上。超球面是一个度量空间,但距离是非欧几里得的,可以表示不确定的差异。
2. 不确定空间
假设我们有一组感兴趣的对象,并测量了所有对象对之间的差异,用矩阵 $D$ 表示,其中 $D_{ij}$ 是对象 $i$ 和 $j$ 之间的距离。通过平方距离矩阵 $D’$($D’
{ij} = D
{ij}^2$),可以定义一组等效的相似度:
[S = -\frac{1}{2}(I - \frac{1}{n}J)D’(I - \frac{1}{n}J)]
其中 $J$ 是全 1 矩阵,$n$ 是对象的数量。在欧几里得空间中,这个过程可以得到点的内积或核矩阵。
如果 $S$ 是半正定的,那么原始距离是欧几里得的,可以使用核嵌入在欧几里得空间中定位点的位置:
[S = U_S\Lambda_SU_S^T = XX^T]
[X = U_S\Lambda_S^{\frac{1}{2}}]
其中 $U_S$ 和 $\Lambda_S$ 分别是 $S$ 的特征向量和特征值矩阵,第 $i$ 个点的位置向量 $x_i$ 对应于 $X$ 的第 $i$ 行。
如果 $S$ 是不确定的,对象不能以给定的距离存在于欧几里得空间中。可以使用负特征分数(NEF)来衡量与确定性的偏差:
[NEF = \frac{\sum_{\lambda_i < 0} |\lambda_i|}{\sum_{i} |\lambda_i|}]
如果 $NEF = 0$,则数据是确定的,可以用欧几里得空间中的点表示。还可以通过计算违反度量属性的数量来衡量数据的非度量性,常用的指标包括违反三角不等式的三元组分数(TV)和距离的不对称程度($\gamma$):
[\gamma = \sum_{i \neq j} \frac{|\tilde{d}(i, j) - \tilde{d}(j, i)|}{|\tilde{d}(i, j) + \tilde{d}(j, i)|}]
其中 $\tilde{d}(.,.)$ 是缩放后的差异,使得平均差异为 1。如果数据是度量的但不确定,则需要使用弯曲空间来嵌入点。
以下是对不同处理方法的总结表格:
|处理方法|优点|缺点|
| ---- | ---- | ---- |
|数据修正|去除不确定部分|丢失有用信息,性能下降|
|伪欧几里得空间嵌入|可处理不确定数据|非度量空间,局部性无法保证|
|非欧几里得但度量的嵌入空间|可表示不确定差异,可定义几何分类器|计算相对复杂|
3. 球面空间
球面空间是黎曼流形的一个例子。在流形上,距离由测地线(两点之间的最短曲线)测量,测地距离是度量的。球面空间是弯曲的,因此距离本质上是非欧几里得的,一般来说,球面上点的相似度矩阵是不确定的,这使得它成为表示非欧几里得数据集的潜在选择。
流形嵌入的重要性在于它允许在嵌入点上使用几何和统计工具。在黎曼流形上,任意两点之间的距离以一致的方式定义,测地距离是度量的,类似于欧几里得空间中的直线,允许在弯曲空间中构建几何结构。我们还可以以与正常欧几里得定义一致的方式计算统计量,这意味着所有标准分类器(至少在理论上)都可以应用于数据,但具体的公式会与向量空间分类器不同。
二维球面流形与嵌入在三维空间中的球面的二维表面同构,其参数形式为:
[x = (r \sin u \sin v, r \cos u \sin v, r \cos v)^T]
其中 $r$ 是球的半径,$u$ 是方位角,$v$ 是天顶角。这种几何结构可以推广到嵌入在 $n$ 维欧几里得空间中的 $n - 1$ 维超球面,其表面可以通过约束条件 $\sum_{i} x_i^2 = r^2$ 隐式定义,该表面是弯曲的,处处具有恒定的截面曲率 $K = \frac{1}{r^2}$。
超球面上两点之间的测地距离是连接这两点的最短曲线的长度,即大圆的弧长。如果两点在超球心处所张的角度为 $\theta_{ij}$,则它们之间的距离为:
[d_{ij} = r\theta_{ij}]
以超球心为坐标原点,用长度为 $r$ 的位置向量 $x_i$ 表示一个点,由于内积 $\langle x_i, x_j \rangle = r^2 \cos \theta_{ij}$,所以也可以写成:
[d_{ij} = r \cos^{-1} \frac{\langle x_i, x_j \rangle}{r^2}]
下面是球面空间相关概念的 mermaid 流程图:
graph LR
A[球面空间] --> B[黎曼流形]
B --> C[测地距离度量]
B --> D[可构建几何结构]
B --> E[可计算统计量]
A --> F[超球面参数形式]
A --> G[测地距离计算]
4. 指数映射
在将点嵌入到球面上的过程中,需要用到黎曼几何中的指数映射。指数映射是从流形上的点到其切空间上的点的映射。由于切空间是平坦的(即欧几里得空间),可以更方便地计算各种量。
指数映射有一个原点,它定义了构建流形切空间的点。形式上,指数映射是连接切空间上的李代数和定义流形的李群的映射。该映射具有一个重要性质,即映射原点与流形上一点之间的测地距离等于这两点在切空间上的像之间的欧几里得距离。
对于球面流形,指数映射的具体形式如下:设流形上的点 $P$ 用长度为 $r$ 的位置向量 $p$ 表示,点 $M$ 用向量 $m$ 表示,且 $M$ 是映射的原点。则有:
[x = \frac{\theta}{\sin \theta}(p - m \cos \theta)]
[p = m \cos \theta + \frac{\sin \theta}{\theta}x]
[d_g(P, M) = d_e(X, M) = |x| = r\theta]
其中 $\theta = \cos^{-1} \frac{\langle p, m \rangle}{r^2}$,向量 $x$ 是 $P$ 在切空间中的像,$M$ 的像在切空间的原点。
指数映射的作用流程如下:
1. 确定流形上的点 $P$ 和映射原点 $M$。
2. 根据上述公式计算 $P$ 在切空间中的像 $x$。
3. 利用切空间的欧几里得性质进行计算。
4. 通过逆映射将切空间中的结果转换回流形上。
5. 球面嵌入
给定一个差异矩阵 $D$,我们的目标是在半径为 $r$ 的超球面表面上找到一组点的嵌入,使得测地距离尽可能接近 $D$。由于这是一个难题,我们采用基于近似优化的方法。具体步骤如下:
5.1 问题简化
我们每次只考虑一个点到其他所有点的距离。设感兴趣的点为 $p_i$,我们要在超球面上为该点找到一个新位置,使得它到点 $j$ 的测地距离为 $d_{ij}^
$(其中 $
$ 表示这是目标距离)。我们将位置估计问题表述为一个最小二乘问题,目标是最小化:
[E = \sum_{j \neq i} (d_{ij}^2 - d_{ij}^{*2})^2]
其中 $d_{ij}$ 是两点之间的实际距离。这与 Cox 和 Cox 以及其他非欧几里得多维缩放方法类似,都是试图最小化“应力”。
5.2 线性嵌入与优化
直接在球面上进行优化会因为需要将点限制在流形上而变得复杂。但由于我们每次只考虑一个点,所以可以使用对数映射构建线性嵌入,并在欧几里得空间中进行优化。
如果当前超球面上的点位置为 $p_j$($\forall j$),我们可以使用对数映射得到每个对象在切空间中的点位置 $x_j$($\forall j$):
[x_j = \text{Log}
{p_i}p_j = \frac{\theta
{ij}}{\sin \theta_{ij}} (p_j - p_i \cos \theta_{ij})]
且 $x_i = 0$。
5.3 梯度下降优化
我们发现标准优化方案在处理较大数据集时不可行,因此提出了一种具有最优步长的梯度下降方案。在这个迭代方案中,我们更新切空间中点 $x_i$ 的位置,以更好地拟合给定的距离。
在第 $k$ 次迭代时,点的位置为 $x_i^{(k)}$。初始时,点位于原点,即 $x_i^{(0)} = 0$。由于点位于切空间(欧几里得空间),所以 $d_{ij}^2 = (x_j - x_i)^T (x_j - x_i)$,误差的梯度为:
[\nabla E = 4 \sum_{j \neq i} (d_{ij}^2 - d_{ij}^{*2}) (x_i - x_j)]
迭代更新过程为:
[x_i^{(k + 1)} = x_i^{(k)} + \eta \nabla E]
5.4 确定最优步长
设 $\Delta_j = d_{ij}^2 - d_{ij}^{*2}$,$\alpha_j = \nabla E^T (x_i - x_j)$,则最优步长是以下三次方程的最小根:
[n|\nabla E|^2\eta^3 + 3|\nabla E|^2(\sum_{j} \alpha_j)\eta^2 + (2\sum_{j} \alpha_j^2 + |\nabla E|^2 \sum_{j} \Delta_j)\eta + \sum_{j} \alpha_j\Delta_j]
这个步长在梯度方向上能最小化误差。
以下是球面嵌入的步骤总结表格:
|步骤|操作|
| ---- | ---- |
|问题简化|每次考虑一个点到其他点的距离,构建最小二乘问题|
|线性嵌入|使用对数映射将点转换到切空间|
|梯度下降|在切空间中迭代更新点的位置|
|确定步长|求解三次方程得到最优步长|
下面是球面嵌入过程的 mermaid 流程图:
graph LR
A[差异矩阵 D] --> B[问题简化]
B --> C[线性嵌入到切空间]
C --> D[梯度下降优化]
D --> E[确定最优步长]
E --> F[更新点位置]
F --> G{是否收敛}
G -- 否 --> D
G -- 是 --> H[得到球面嵌入结果]
6. 总结
在模式识别中,处理非欧几里得差异度量是一个重要的问题。传统的欧几里得空间嵌入方法在面对不确定的差异数据时存在局限性,可能会导致信息丢失和性能下降。
本文介绍了一种将对象嵌入到超球面的方法,利用球面空间的非欧几里得但度量的特性,能够更好地表示不确定的差异。通过指数映射和基于优化的球面嵌入方法,我们可以在超球面上找到一组点的位置,使得测地距离尽可能接近给定的差异矩阵。
这种方法不仅可以在嵌入点上使用几何和统计工具,还可以定义几何分类器,为模式识别问题提供了一种新的解决方案。同时,通过梯度下降和最优步长的选择,该方法在处理较大数据集时也具有一定的可行性。
未来的研究方向可以包括进一步优化嵌入算法,提高计算效率;探索如何将这种方法应用到更多的实际问题中,如图像分类、语音识别等;以及研究如何结合其他机器学习技术,进一步提升分类性能。
1505



被折叠的 条评论
为什么被折叠?



