qq_34426949的博客

用于单目相机的目前一种主流的pipline 是经过 sfm，得到相机位姿之后，用mvs 进行稠密重建，也有别的方式直接得到稠密点云，比如最近出的dust3r，vggsfm，但这种方式有很大缺点，比较吃显存，同时处理速度也没有多大提升。

MVSTER网络结构如图所示。给定参考图像及其对应的源图像，首先利用特征金字塔网络提取2D多尺度特征。然后将源图像特征变化到参考摄像机坐标系下，通过可微单应性构造源体(Sec. 3.1)。随后，利用极线Transformer聚合源体并产生代价体，辅助分支进行单目深度估计以增强上下文。该体由轻量级3D CNN正则化以进行深度估计(Sec. 3.2)。进一步以级联结构构建，以粗到细的方式传播深度图 (Sec. 3.3).。