Depth Anything with Any Prior论文速读

论文目的：结合不完整但精确的深度测量信息与完整但相对的深度预测信息来生成一张准确且完整的深度信息

• 雷达或深度相机获取绝对准确但不完整的深度图（比如深度相机存在的空洞部分或雷达线密度较低产生的空洞）
• 利用单目深度估计模型获取完整的相对深度图

  对于算法，作者设计了先粗后细的流水线，分两步进行。

• 粗填充（把一张不完整的测量数据填充成为粗糙但完整的深度图，目的是把不同的先验变成相同先验）

• 用预测模型（MDE）生成完整的相对深度图，利用k近邻算法从有效像素中筛选出与缺失像素距离最近的若干个支撑点，用支撑点计算仿射变换来求缩放s和平移t，用求得的s和t校准预测值：y=sx+t ，作者还利用距离权重，让更近的支撑点影响力更大。 用这个方法把预测图的所有点转换为伪精确值填充到缺失区域。

• 细优化（解决经过粗填充后深度图还存在噪声和结构失真）

• 输入为RGB图像、归一化后的粗填充深度图和单目预测深度图。

• 后两个卷积权重初始化为0，训练初期仅依赖RGB特征，逐步学习融合深度信息。

  引入了一个与RGB输入层平行的条件卷积层来获取度量条件，利用MDE模型预测的相对深度获取几何条件。最后反归一化得到结果。