ECCV2018 oral MVSNet 错误公式纠正及正确源代码推导解释

2022-10-10 更新

• 这个公式与经典的 homography 的区别就在于用世界坐标系到两个相机分别的旋转、平移替代掉了两个相机之间的旋转、平移。

原文

ECCV2018 的一篇 oral 论文 MVSNet: Depth Inference for Unstructured Multi-view Stereo 开启了用 深度学习做 MVS 的先河，但是在该篇论文的 3.2 Cost Volume 部分，却有一个关于 homography 的错误公式，令人匪夷所思的是，在它的Github 开源代码 的相关部分，代码却是按照正确的公式来写的。该论文的错误公式影响了后面的许多论文，比如 CVPR 2020的一篇 oral 论文Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching 。本文会推导正确公式，并且解释 MVSNet 论文 Github 开源代码中相关代码为什么表示了正确了公式。

图1. ECCV2018 MVSNet: Depth Inference for Unstructured Multi-view Stereo 论文中 3.2 Cost Volume 错误公式

图2. CVPR2020 Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching 论文中 3.1. Cost volume Formulation 错误公式

首先，在 图1 公式中有个明显的错误，就是等式最右边的项 $K_1^T$， 内参矩阵的转置毫无意义，论文中想要表达的是内参矩阵的逆，应该是 $K_1^{-1}$。
为了推导出正确的公式，本文需要做两个准备

准备1 推导出关于两个视图的R, t

首先，对于数据集中的所有视图（image），共用一个公共的世界（大地）坐标系。在准备数据集的时候，每个视图都会做 calibration，都会得到从世界坐标系到每个视图的相机坐标系下需要做的旋转（$3\times 3$旋转矩阵）和平移（$3\times 1$平移向量）。论文中是多视图，且有对于每个 3d scene，指定第一张 image 为 reference image。在本文中，只需推导两个视图的情况。针对多视图的公式，只需要固定 reference image的视图，另外一个视图更换成其他的视图即可。

图3. 世界坐标系 W 到相机坐标系 C 旋转 $R_1$， 平移 $t_1$,世界坐标系 W 到相机坐标系 $C^{{}^{\prime }}$ 需要旋转 $R_2$， 平移 $t_2$, 相机坐标系 $C$ 到相机坐标系 $C^{{}^{\prime }}$ 之间需要旋转 $R$, 平移 $t$。
设世界坐标系 $W$ 任意一点 $P$，则 $P$ 首先经过 $R_1,t_1$ 到 相机坐标系 $C$ 下，然后经过 $R,t$ 到相机坐标系 $C^{{}^{\prime }}$ 下，最后经过 $R_2,t_2$的逆作用又重新回到世界坐标系 $W$ 下的点 $P$, 即
$${\left[\begin{array}{cc}{R}_2& t_2\\ 0_{1\times 3}& 1\end{array}\right]}^{-1}\left[\begin{array}{cc}R& t\\ 0_{1\times 3}& 1\end{array}\right]\left[\begin{array}{cc}{R}_1& t_1\\ 0_{1\times 3}& 1\end{array}\right]P=P\text{\hspace{1em}(1)}$$
其中 $P$ 为 $4\times 1$ 的齐次坐标。由于式（1）对世界坐标系 $W$ 下任意的 点都成立， 故
$$[\begin{array}{cc}{R}_2& t_2\\ 0_{1\times 3}& \end{array}$$