论文阅读： GeoNet: Unsupervised Learning of Dense Depth, Optical Flow and Camera Pose(CVPR2018)

CVPR2018_GeoNet: Unsupervised Learning of Dense Depth, Optical Flow and Camera Pose
提出了一个联合估计深度、光流和pose的网络。
，这是在left-right consistency的无监督估计、sfmlearner的基础上开展的又一作品。

该论文主要贡献点：
- 提出了一个几何一致性代价（geometry consistency loss),来解决光照变化等情况

• 解决移动物体和遮挡：通过rigid flow and object motion两种机制

同样在介绍中，也表示深度学习在处理弱纹理区域的优势。
同时该实现能实现比较快的深度预测

1.基本结构和代价函数

如图：

总体分为两步：第一步是重建所有刚体的空间几何信息：对图片先进性深度估计，然后估计位姿；第二步在此基础上用一个residual flow learning module来处理物体移动问题

第一步：DepthNet, PoseNet

第一步不考虑视频中运动的物体
DepthNet
对单帧图像进行深度估计

PoseNet
将所有序列的图像按照channel concat到一起，一起输入来一次性训练所有帧之间的Pose.
代价函数为：
根据之前循环得到的深度和位姿，可以计算重投影光度误差：