MCCNet:用于户外浮雕图像单图像深度预测的多色级联网络
在文化遗产保护领域,对户外文物的维护和数字化存档需求日益增长。传统的3D扫描和摄影测量技术在实际应用中存在诸多限制,如耗时、成本高、受环境影响大等。因此,单图像深度预测(SIDP)成为了一种有潜力的解决方案。本文将介绍一种新的单图像深度预测方法——多色级联网络(MCCNet),并详细阐述其相关数据集和实验结果。
1. 研究背景
随着对户外文物保护意识的提高,文化遗产的数字化存档变得尤为重要。目前,3D扫描技术被广泛用于文物的数字存档,但该技术存在一些局限性。例如,扫描场景和多个物体时耗时较长,且依赖于扫描仪的性能;在户外使用时,需要高维护设置,同时还面临电力供应和难以到达的位置等问题。此外,摄影测量技术虽然在处理具有独特表面的物体时较为适用,但需要从多个角度拍摄图像,对于大规模的3D重建来说成本较高。
单图像重建(SIR)方法为解决这些问题提供了一种新的思路。通过从单张图像中获取深度信息,可以在较短的时间内获得3D模型。然而,单图像深度预测面临着诸多挑战,如难以从像素对应关系中估计深度,需要先验知识;公开可用的训练数据集有限,特别是针对浮雕的数据集;环境颜色变化会影响图像的表面外观,从而影响深度预测的准确性。
2. 相关工作
单图像3D重建的研究已经进行了数十年,早期的方法主要基于形状从阴影、纹理和散焦等特征来确定深度,但这些方法仅适用于使用单一深度线索的表面可见部分。近年来,卷积神经网络在3D重建任务中取得了令人瞩目的成果,但现有的方法在处理浮雕时仍存在一些问题,如无法处理材料颜色变化等。
3. 提出的方法
为了解决上述问题,本文提