Deep Parametric Indoor Light Estimation ICCV 2019论文详解

论文地址：[1910.08812] Deep Parametric Indoor Lighting Estimation (arxiv.org)

项目地址：Deep Parametric Indoor Lighting Estimation (lvsn.github.io)

数据集：The Laval Indoor HDR Database (hdrdb.com)

Laval University发表在ICCV2019上。想直接拿来用的话，可以放弃了。作者这个数据集上千张只开源了几百张，模型代码没开源。不过论文思想很值得借鉴。

目录

网络输入与输出

光场表示：

为什么不用HDR格式的光场，要用参数化的光场？

HDR光场和参数化光场的联系

如何得到参数化的光场？数据集如何标注？

模型结构

数据集如何制作？

模型结构

训练

效果

评价

---

目的：进行光场估计。 这里说的光场估计，是根据单张图片估计出光场，并不表示渲染。渲染依然是采用传统的方法进行渲染。

本文希望通过单张图片重建光场。

重建效果，左边是不进行光场重建的渲染效果，右图是进行了光场估计，然后根据光场估计渲染的效果。

网络输入与输出

输入：一张LDR图像，场景中的LDR图像

输出：该场景中参数化的光照参数。光源的位置，颜色，大小，角度。

光场表示：

本文所言，有两种光场表示方式

一是光场的位置，强度，颜色

二是HDR格式的光场，即全景广场。

为什么不用HDR格式的光场，要用参数化的光场？

如果渲染过程中，每个场景都在周围采集一个HDR格式的全景光场，是不现实的。

室外场景中，光源位置比较远。但是室内场景中，光源的位置与物体比较近，同一个光源可能会对很多物体都产生作用，对于室内场景还需要标注HDR的景深，才能较好渲染效果。

综合上面两点，还是参数化的光场好。

HDR光场和参数化光场的联系

如下图，左边是HDR光场，右边是参数化光场转化为HDR图之后的光场，用这两个渲染出来的是非常接近的。所以粗略的参数化光场的渲染效果也不会差，不会比HDR全景光场差多少。

如何得到参数化的光场？数据集如何标注？

如果直接用模型预测出参数化光场，这个可能会不收敛。因为HDR光场和参数化光场之间存在gap。所以作者除了预测出参数化光场之后，还会用参数化光场转化为HDR光场，这样还能算Loss，就容易收敛了。

模型结构

输入图像I，预测各个光源的参数p，共有N个光源，这个N是作者自己选的。比如可以选N=3，就是用3个参数化的光场模拟光源位置。除了p个光源之外，还有个环境整体的颜色a也需要预测，可以看作周围环境的漫反射。

每个光源p的参数有四个。

l是光源的location，x，y，z坐标

d是光源的距离

s是光源的角度，朝着多少个方向的角度。

c是光源的颜色。

得到了光源的这些参数，就可以运用光源模拟环境广场。

数据集如何制作？

网络输入，是环境图片，那这里就可以直接运用渲染器进行渲染。

作者这里用的是自制的optix渲染器，运用GPU进行渲染。（作者跟mitsuba渲染器进行了对比，宣称自己比mitsuba比要快，但是作者用自己的GPU运行速度跟mitsuba的CPU渲染速度相比，那当然快了）。

环境广场的HDR是采集的，采集了之后因为是室内场景，所以需要标注景深。

相当于，有监督信息就是HDR+带有景深的图像。输入是根据该图像渲染出来的光场。

有一个数据集Matterport 3D数据集，但是这个数据集的最上面30度是缺失的，即没有天花板，全景的纵向需要180度.

SUNCG数据集，这个数据集其中的有些材料不真实，无法使用。

作者使用Laval Indoor HDR数据集。包含2100张HDR图像，作者通过EnvyDepth对此数据集进行了深度标注。

模型结构

简单的DenseNet,将输入图片提取为特征，然后通过fc一个一个把图片的参数预测出来。

训练

需要将参数化的光源通过公式转化为HDR的光源形式，这样两者可以同样的结构可以算loss

loss即光源和总体的差值：

效果

左边为输入图像，右边是HDR光场和预测的光源。

评价

神经网络学习光源位置和大小，需要做一个数据集。但是数据集不公开也不提供预训练模型，性能及效果到底如何并不知道。