Atlantis项目中深度估计模型的跨数据集训练与测试关键技术解析

Atlantis项目中深度估计模型的跨数据集训练与测试关键技术解析

Atlantis Atlantis: Enabling Underwater Depth Estimation with Stable Diffusion (arxiv2023) 项目地址: https://gitcode.com/gh_mirrors/atlantis7/Atlantis

深度估计是计算机视觉领域的重要研究方向，在水下场景中尤为关键。本文将以Atlantis项目为例，深入探讨深度估计模型在不同数据集间训练与测试时面临的关键技术挑战及解决方案。

深度数据的尺度问题

在Atlantis项目中，研究人员使用了自生成的深度图数据集以及公开数据集进行模型训练和测试。不同数据集间存在一个普遍问题：深度数据的表示范围和尺度可能存在显著差异。这种差异主要来源于：

1. 数据采集设备的不同（如不同型号的深度相机）
2. 深度表示方式的差异（绝对深度vs相对深度）
3. 场景尺度的变化（近距离物体vs远距离场景）

MiDaS框架的尺度不变性解决方案

Atlantis项目采用了MiDaS框架提供的inverse relative depth表示方法，这种方法具有以下特点：

1. 无尺度依赖性：输出的深度值没有固定的物理单位
2. 相对关系保持：仅保持场景中物体的相对深度关系
3. 数值范围灵活：深度值的具体数值范围不固定

这种表示方法的优势在于训练时可以不受限于特定场景的物理尺度，使模型能够学习到更通用的深度特征。

跨数据集评估时的尺度对齐

当将在Atlantis数据集上训练的模型应用于其他测试数据集（如Sea-thru和SQUID）时，需要进行尺度对齐。这一过程包含以下关键步骤：

1. 尺度参数估计：使用最小二乘法求解最优的尺度(scaling)和平移(shift)参数
2. 线性变换应用：将模型预测结果通过y = scale·x + shift变换到目标尺度
3. 评估指标计算：在变换后的深度图上计算RMSE等评估指标

具体实现时，采用以下数学方法求解尺度参数：

a_00 = Σ(mask·prediction²)
a_01 = Σ(mask·prediction)
a_11 = Σ(mask)
b_0 = Σ(mask·prediction·target)
b_1 = Σ(mask·target)

通过求解线性方程组得到最优的scale和shift参数

这种方法相比简单的统计量（如中值和方差）对齐更为精确，能够最小化预测深度与真实深度之间的误差。

实际应用建议

对于希望在自己的项目中应用类似技术的开发者，建议注意以下几点：

1. 训练数据准备时，确保使用一致的深度表示方法
2. 测试阶段必须进行尺度对齐，否则评估指标将失去意义
3. 对于不同的应用场景，可能需要调整尺度对齐的具体实现
4. 在水下场景中，还需考虑水体对深度估计的额外影响

通过合理处理深度数据的尺度问题，可以显著提升深度估计模型在不同场景间的泛化能力，这也是Atlantis项目取得成功的关键技术之一。

Atlantis Atlantis: Enabling Underwater Depth Estimation with Stable Diffusion (arxiv2023) 项目地址: https://gitcode.com/gh_mirrors/atlantis7/Atlantis