最优传输Optimal Transport-Wasserstien距离 以及Gromov-Wasserstien距离以及fused Grosserstien距离

本文介绍了最优传输理论中的Wasserstein距离、Gromov-Wasserstein距离以及它们的融合版本FusedGromov-Wasserstein距离,探讨了这些距离在处理无直接关系的数据集时的应用,涉及代价矩阵的定义和传输矩阵的求解过程。通过实例展示了三种距离在图匹配中的表现差异。

说实话我对此理解的也不是太深刻,因为总感觉这个OT算法实在是有些抽象,所以欢迎各位看官多向我提问,我们互相交流以加深理解。

部分参考来源:
Subgraph Matching via Fused Gromov-Wasserstein Distance
Optimal Transport入门简述

一、 最优传输 Optimal Transport & Wasserstien Distance

下面讲讲我理解的内容:

有这么一个情景:我们有很多 n 堆沙子(即我们有一个一维向量 [n, ]), 每一堆沙子重 P ( i ) ∈ R n P^{(i)} \in \mathbb{R}^{n} P(i)Rn,有 m 个坑(即我们有一个一维向量 [m, ]),每个坑能装 Q ( i ) ∈ R m Q^{(i)}\in \mathbb{R}^{m} Q(i)Rm沙子,我们想将这些沙子移到这些坑里,每堆沙子怎么移动才能让代价最小(即解最优)?

我们先来定义一下我们移动沙子要付出的代价,这是一个代价矩阵 M ∈ R > = 0 n × m M \in \mathbb{R}^{n \times m}_{>=0} MR>=0n×m,shape为 n × m n \times m n×m, 描绘了 n 中任一沙堆向 m 个坑中任一坑搬运所要付出的代价,并且里面的数值必须是大于等于0的。

然后我们定义下我们的解矩阵,解矩阵长这样: T ∈ R > = 0 n × m T \in \mathbb{R}^{n \times m}_{>=0} TR>=0n×m,描述了从 每个沙堆向每个沙坑搬运多少质量(mass)沙子(所以你可以看出这有很多最优解(话说是局部解吗?))

然后定义将 T 和 M 逐元素相乘(注意不是矩阵点乘)表示总的运输成本,再将所有积求和计算总代价,公式如下:

W a s s e r s t i e n − d i s t a n c e = argmin ∑ i , j T i , j M i , j = m i n T ∈ τ ( p , q ) ⟨ T , M ⟩ F Wasserstien-distance = \text{argmin} \quad \sum_{i, j} T_{i, j} M_{i, j} = min_{T\in\tau(p, q)}\langle T, M \rangle _{F} Wasserstiendistance=argmini,jTi,jMi,j=minTτ(p

### 最优传输理论概述 最优传输Optimal Transport, OT)是一种用于衡量概率分布之间距离的方法,在计算机科学和机器学习领域有着广泛应用。该理论旨在找到一种方法,使得在一个成本函数下,将一个分布转换成另一个分布的成本最小化[^1]。 OT问题的经典形式可以描述为:给定两个离散的概率分布 \(\mu\) 和 \(\nu\) ,以及定义在这两组点之间的运输成本矩阵 \(C\) 。目标是在所有可能的联合分布中寻找使期望运输成本最小化的那个联合分布 \(\pi^*\)[^2]。 ```python import numpy as np from ot import emd2 # 定义源分布和支持集 a = [.7, .3] # 源分布权重向量 b = [.4, .6] # 目标分布权重向量 M = [[0., 1.], [1., 0.]] # 成本矩阵 # 计算Wasserstein距离平方 w_dist_sq = emd2(a, b, M) print(f"Wasserstein distance squared: {w_dist_sq}") ``` ### 应用场景 #### 图像处理与生成对抗网络 (GANs) 在图像处理方面,通过引入基于OT的距离度量,能够更有效地训练生成模型。具体来说,利用Wassertein GAN(W-GAN),即采用Wassertein距离作为损失函数来替代传统的Jensen-Shannon散度,从而解决了模式崩溃等问题并提高了样本质量[^3]。 #### 自然语言处理(NLP) 对于NLP任务而言,词嵌入空间中的句子表示可以通过OT技术实现更好的语义相似性匹配。例如,Sinkhorn算法被用来计算不同文档间词语频率直方图间的Earth Mover's Distance(EMD), 进而评估它们的内容差异程度[^4]。 #### 数据增强与迁移学习 当面临数据不足的情况时,可以从已有的大规模标注数据集中抽取特征,并借助OT框架将其适配到新的未标记或少量标签的数据上;这有助于提高下游分类器性能的同时减少人工标注工作量[^5]。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

是土豆大叔啊!

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值