【论文阅读笔记】Scalable, Detailed and Mask-Free Universal Photometric Stereo_scalable, detailed, and mask-free universal photom-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_43357695/article/details/144697900

【论文阅读笔记】Scalable, Detailed and Mask-Free Universal Photometric Stereo

前言
摘要
引言
- Task
相关工作
方法
实验结果
结论
附录

前言

Conference: CVPR2023
Code: https://github.com/satoshi-ikehata/SDM-UniPS-CVPR2023
paper: https://arxiv.org/abs/2303.15724
独立作者: Satoshi Ikehata
机构: National Institute of Informatics (NII)

给定未知空间变化的光照下的多个图像，可以直接恢复出非凸的、非朗伯曲面的详细表面法线。

在这里插入图片描述

摘要

SDM-UniPS，一个开创性的可扩展、详细、无掩码和通用光度立体网络。可以恢复惊人的复杂表面法线贴图，与3D扫描仪的质量相媲美，即使图像是在不受控制的环境中未知的、空间变化的照明条件下捕获的。我们已经扩展了以前的通用光度立体网络来提取空间光特征，利用高分辨率输入图像中的所有可用信息并考虑表面点之间的非局部交互。
提出了一个新的合成训练数据集，它包含了现实场景中发现的各种形状、材料和照明场景。
了我们的方法不仅在公共基准上超过了校准、特定于照明的技术，而且即使在没有对象掩码的情况下也表现出色。

引言

Task

光度立体[59]旨在通过分析从不同光照条件下从固定视角捕获的图像来推断场景的表面法线图。现有光度立体方法都假定了它们特定的照明条件，这导致了它们的适用性的限制。例如，假设定向光照条件(如[25,29,30])的方法不适合自然照明，反之亦然(如[18,44])。

为了克服这一限制，引入了“通用”光度立体方法(UniPS)[27]，旨在在未知和任意照明条件下运行。与之前假设特定基于物理的照明模型的未校准光度立体方法 [10, 12, 32] 相比，该方法对每个像素处的非物理特征进行编码，以表示空间变化的照明，这是校准光度立体网络 [26] 中物理照明参数的替代品。这种方法迈出了处理现有方法无法处理的未知、空间变化的照明的第一步。然而，UniPS恢复的表面法线图虽然不完全不准确，但看起来很模糊，缺乏精细细节(见图1右上角)。

调查后，我们确定了导致次优重建性能的三个基本因素。首先，提取照明来自下采样图像的特征(即全局照明上下文)导致较高输入分辨率的信息丢失，并产生模糊伪影。其次，UniPS采用像素级标定光度立体网络利用光照特征预测表面法线，导致整体形状恢复不精确。尽管像素化方法 [25,26,30] 在捕获更精细的细节方面提供了优势 [11, 34, 56]，但它们存在无法合并全局信息的问题。

最后，第三个问题在于训练数据中存在的形状、材料和光照条件的多样性有限，这阻碍了其适应各种现实世界情况的能力。这种限制主要源于当前数据集（即 PS-Wild [27]）不包括专注于特定入射角的高频分量的光源下的渲染，例如点源或方向源。因此，当暴露于像DiLiGenT[53]这样的定向照明设置时，该方法表现出相当大的性能下降，这将在本文后面演示。

在本文中，我们提出了一种开创性的光度立体网络，可扩展、详细和无掩模的通用光度立体网络(SDM-UniPS)，该网络从极端不受控制的照明条件下捕获的图像中恢复出具有显著精度的法线贴图。如图1所示，SDM-UniPS是可扩展的，能够从比训练数据(例如512x512)具有更高的分辨率(例如2048x2048)的图像生成法线贴图；详细地说，在DiLiGenT[53]上提供比大多数现有的正交光度立体技术(包括校准方法)更少的输入图像更准确的法线贴图，在某些情况下，详细超过了3D扫描仪；而且它是无掩码的，即使在没有掩码的情况下，也允许应用，与许多传统方法不同。

我们的技术创新包括:

开发一种尺度不变的空间光特征编码器，可以有效地提取照明特征，同时利用所有输入数据并保持与输入图像大小的可扩展性。我们的编码器基于“split-and-merge”策略，在不牺牲性能的情况下适应训练和测试期间不同的输入图像大小。
利用我们的novel像素采样变压器开发表面法线解码器。通过随机采样固定大小的像素，我们使用 Transformers [58] 通过采样像素之间的非局部交互同时预测表面法线，有效地考虑了全局信息。
创建一个新的合成训练数据集，包括场景中具有不同纹理的多个对象，在包含低频和高频照明的明显不同的照明条件下渲染。（貌似没开源这个 dataset）

我们认为，与现有的需要细致照明控制的光度立体算法相比，最显著的贡献是从数据采集到法线地图恢复的非凡时间节省，即使在未校准的设置中也是如此。这一进展允许光度立体在家中执行，字面上是“在野外”设置。

方法

针对最近在[27]中引入的具有挑战性的通用光度立体任务。与之前的校准和未校准任务不同，通用任务对表面几何形状、材料属性或最重要的是照明条件没有假设。
该任务的目标是从图像 $I_k∈R^{H×W×3}$ 中恢复法线映射 $N∈R^{H×W×3}$ ； $k \in 1, ..., K$ 在 K个未照明条件下使用正交相机捕获。可选地，可以提供对象掩码 $M ∈ R^{H×W}$ 。

在这里插入图片描述

我们的方法(SDM-UniPS)如图2所示。给定预处理图像和可选的对象掩码，通过沿空间和光轴(即尺度不变的空间光特征编码器)的相互作用提取每个光照条件的特征图。

然后，我们从输入图像的坐标系中随机采样位置，并在这些位置双线性插值特征。

每个位置的特征和原始观察按像素聚合，并在它们之间的非局部空间交互（即像素采样 Transformer）后从聚合特征中恢复表面法线。与[27]一致，为了清楚起见，我们专注于描述高级概念，而不是提供详细的解释。有关网络架构的全面描述，请参阅附录。

SDM-UniPS

预处理

与[27]一样，我们将输入图像的大小调整为可被32整除的分辨率®，这是大多数分层视觉骨干接受的。为了确保图像值在相似的范围内，每个图像由其最大值和平均值之间的随机值归一化。

尺度不变的空间光特征编码器

经过预处理后，我们通过沿空间和光轴的相互作用从图像中提取特征图和可选的对象掩码。遵循[27]中的基本框架，将每个图像和对象掩码连接起来形成一个张量 $O_k∈R^{R×R×4}$ ，然后将其输入到公共视觉主干[37-39]以提取分层特征映射 ${B^s_k}∈R ^{ \frac{R}{S_s}×\frac{R}{ S_s}×C_s}$