《Unsupervised Learning of Depth and Ego-Motion from Video》论文笔记

Unsupervised Learning of Depth and Ego-Motion from Video
作者：Tinghui Zhou,
项目主页

摘要

作者针对于无结构化的单目视频序列的图像深度获取提出了一种无监督网络架构，与之前方法不同在于作者的方法是完全无监督的，而之前的网络或者需要像素深度的标记，或者需要相机姿势的标记等。网络中使用了单目视的深度预测网络与双目视的姿势预测网络，并结合一个 loss 进行训练。这个 loss 是基于相邻图像的区域来合成目标图像的相应区域，并计算两者的 $L_1$ loss 得到。

文章的核心思想是利用photometric consistency原理来估计每一帧的depth和pose。photometric consistency就是对于同一个物体的点，在不同两帧图像上投影点，图像灰度应该是一样的。

网络结构

有一个前提是：根据射影几何以及平面投影的相关知识，作者的方法需要提前知道用于拍摄的相机的内部参数 K。

基本网络结构如图所示，包含 Depth CNN 与 Pose CNN 两部分，分别用于预测像素深度、相邻两帧图像之间相机的运动姿势。训练过程中，取 3 帧图像 $I_t,I_{t-1},I_{t+1}$，称 $I_t$ 为目标图像，另外两个为源图像。首先 $I_t$ 通过 Depth CNN 得到像素深度，将 $(I_t,I_{t-1})$、$(I_t,I_{t+1})$ 分别作为一组送入 Pose CNN 得到相邻像素之间相机的运动 ${\hat{T}}_{t\to t-1},{\hat{T}}_{t\to t+1}$。
但是没有像素深度的标记，也没有相机位置的标记，我们只有一个视频序列，怎么样才能做到无监督训练呢？这个时候作者想到了一个很聪明的办法，就是利用网络预测的像素深度来重建图像，通过对重建的图像效果进行训练和优化，来实现对Depth CNN（与Pose CNN）训练和优化。具体实现思路就是已经得到了相邻两帧图像相机的运动 T ^ t → t − 1 , T ^ t → t + 1 \hat{T}_{t \to t-1}, \hat{T}_{t \to t+1} T^t→t−1​,T^