EMD loss

Earth Mover's Distance (EMD)，翻译过来是地球移动距离，又称为推土机距离，是对特征空间中两个多维矩阵中某一维距离的一种度量。

The Earth Mover's Distance (EMD) is a method to evaluate dissimilarity between two multi-dimensional distributions in some feature space where a distance measure between single features, which we call the ground distance is given. The EMD ``lifts'' this distance from individual features to full distributions.

• 先对该损失针对的生活场景进行描述。

1. 假设有若干数量的土堆，每个土堆的大小不一且分布的位置不一样。同时存在若干数量的土坑，每个土坑的大小不一且位置不一样。对于每个土堆-土坑对的运输成本是给定的（以距离表示）。任务是把土堆搬动并填到土坑里，如何规划运输方案，使运输成本最低(描述详见这里)；
2. 假设有一批货物需要从多个工厂运输到多个仓库，工厂和仓库的分布位置无规律，且它们的储存量不同。如何尽可能高效把所有 (当仓库总容量大于货物总重量) 或部分货物 (当仓库总容量小于货物总重量) 从工厂运送到仓库(描述详见这里)；

图片来自 这里

• EMD loss（also known as Wasserstein distance）

上述两种场景是运输中的规划问题。抽象出来就是出发地和目的地间的距离是固定的，只是两者之间的运输量是变化的，且该运输量存在两个约束条件，目的是运输成本最低。

图片来自 这里

1. 第一行表示P和Q两个(特征)向量间移动元素的工作量，即运输成本；
2. 第二行表示i和j之间的运输量；
3. 第三行和第四行表示运输量小于P和Q中当前位置的存量或需求量，即i和j之间的运输量不能大于仓库可存储的量，也不能大于工厂生产的量；
4. 总的运输量小于总的存量或需求量；

emd loss定义为总运输量归一化后的运输成本，公式如下

图片来自 这里

• 针对图像和文本的应用场景

1. 图像间的相似性度量
2. 文档、词汇和语义的相似性度量
3. 具有顺序的多类别之间的距离，如年龄分布和图像美学分布。通常多分类问题采用交叉熵来计算预测值和真实值之间的差异，数据集中各类别之间也是相互独立的。文章表明 在年龄和图像美学分布上的效果优于交叉熵损失，且给出了计算code 。
4. GAN 网络: Wasserstein GAN

 

参考文献：

1. The Earth Mover's Distance

2. 马氏距离和推土机距离公式或者定义？怎样用它们判定两个特征点是否匹配？

3. 推土机距离 (Earth Mover Distance)

4. 图像检索：一维直方图+EMD距离

5. Earth mover’s distance 用于文档相似性度量

6. Squared Earth Mover's Distance Loss For Training Deep Neural Networks on Ordered-Classes  论文及代码

7. 令人拍案叫绝的Wasserstein GAN