【论文笔记】ICRA2019 视觉里程计的损失函数：Beyond Photometric Loss for Self-Supervised Ego-Motion Estimation

Beyond Photometric Loss for Self-Supervised Ego-Motion Estimation

港科大，腾讯优图，香港珠穆朗玛峰创新科技（Altizure）
本文对现有的视觉历程计方法使用的损失函数进行了总结，并提出了一种基于几何一致性的损失函数。

现有里程计方法

主要分为两类：

1. 间接法：
   SLAM系统常用，首先计算出一些鲁棒的特征点边缘集合或者是光流信息，然后用滑窗或者全局BA最小化几何误差。
2. 直接法：
   VSLAM常用，直接优化对应像素的光度误差。光度误差的前提是光度一致假设，这种做法因为受到动态目标、相机自动曝光自动白平衡以及反射表面的影响，鲁棒性较差。多见于自监督学习方法中。

本文方法

先介绍下现有的损失函数：
1、光度误差（图像重建误差、合成图像误差）
图像I2中的像素点P2在I1中的投影为：
$$p_1\sim K_1\left[\widehat{R_{12}}\mid t_{12}\right]\widehat{D_2}\left(p_2\right)K_2^{-1}{p}_2$$
其中K为相机内参，D为所预测的深度图，R t为预测的两帧之间的相对位姿。

讲投影的I1与I1相减得到合成图像损失：
$${\mathcal{L}}_{img}=(1-\alpha ){\Vert {\mathcal{I}}_2-\widetilde{{\mathcal{I}}_2^1}\Vert }_1+\alpha \frac{1-SSIM\left({\mathcal{I}}_2-\widetilde{{\mathcal{I}}_2^1}\right)}{2}$$
第一项为光度误差，第二项为结构相似性度量（从统计学角度衡量两张图像的相似性）
这个损失公式应该伴随一个平滑项来解决运动估计中的梯度局部性问题，并在低纹理区域消除所获得深度的不连续性
因此有一项平滑损失：
图像的平滑区域对深度图损失值的影响更大Lsmooth=∑p∣∇D(p)∣T⋅e−∣∇I(p)∣ 图像的平滑区域对深度图损失值的影响更大 \mathcal{L}_{\text {smooth}}=\sum_{p}|\nabla D(p)|^{T} \cdot e^{-|\nabla I(p)|} 图像的平滑区域对深度图损失值的影响更大L</