CVPR 2025 | Neural LightRig：单图秒变专业影棚，几何/材质/光影全搞定！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【顶会/顶刊】投稿交流群

添加微信号：CVer2233，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

Neural LightRig团队 投稿
量子位 | 公众号 QbitAI

如何从一张普通的单幅图像准确估计物体的三维法线和材质属性，是计算机视觉与图形学领域长期关注的难题。

这种单图逆渲染任务存在严重的不确定性，传统方法通常需要多角度或多光源的拍摄条件，难以在日常场景中普遍应用。 

近日，由香港中文大学、上海人工智能实验室及南洋理工大学的研究团队联合研发的论文《Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion》。

其成果已被计算机视觉顶级会议CVPR 2025正式接收。

核心立意

Neural LightRig创新性地提出利用图像扩散模型（如Stable Diffusion）的强大先验信息，生成虚拟的多光照图像，从而有效解决单图估计法线和PBR材质过程中存在的不确定性问题。

研究团队首次提出通过微调预训练的图像扩散模型，生成不同光照条件下的一致性多光照图像序列，这种方法有效减少了单图估计过程中的内在不确定性。

混合条件策略：通过通道级别的图像拼接与参考注意力机制的结合，引入输入图像的先验信息，有效保证了生成图像的颜色和纹理细节的一致性。

双阶段微调策略：首先仅微调扩散模型的初始卷积层及注意力层，以稳定早期训练；随后以较低学习率微调整个模型，进一步提升模型生成多光照图像的质量。

2. 基于U-Net的大型G-buffer重建模型

利用扩散模型生成的多光照图像作为辅助信息，团队设计了一个基于U-Net架构的回归模型，以实现对物体表面法线和PBR材质属性（包括反照率、粗糙度、金属性）的高效精确估计。

显式光照条件输入：通过对光源位置进行球面坐标编码，使模型能显式地关联不同光照方向下的图像变化，更有效地预测物体表面属性。

优化目标设计：采用余弦相似度损失和均方误差(MSE)联合优化法线估计，材质估计则采用简单而有效的均方误差损失。

数据增强策略：针对扩散模型生成图像与真实渲染图像之间的领域差异，提出随机降质、亮度调整、光照方向扰动和数据混合策略，以提高模型的泛化能力与稳定性。

实验表现

在自主构建的大规模数据集LightProp上的实验结果表明，Neural LightRig在各项指标上全面超越现有先进方法：

• 法线估计：平均角度误差显著降低至6.413°，大幅提高估计精度（详见论文表1和图5）；

• 材质估计与新光照下渲染效果：实现了对反照率、粗糙度和金属性等材质属性的精准估计，并能够生成逼真的单图重光照效果（详见论文表2与图6图7）。
  

此外，该方法在真实世界图像中的泛化表现突出，展现出良好的实际应用潜力，适用于增强现实（AR）、虚拟现实（VR）和数字内容创作等广泛领域。

法线估计

材质估计

新光照渲染

开源与资源
为促进研究与应用，研究团队已公开了相关资源，欢迎社区同行积极使用和探索：
代码开源地址：
https://github.com/ZexinHe/Neural-LightRig

数据集开源地址：https://huggingface.co/datasets/zxhezexin/NLR-LightProp-Objaverse-Renderings

预训练模型地址：https://huggingface.co/zxhezexin/neural-lightrig-mld-and-recon

论文链接：https://arxiv.org/abs/2412.09593
项目主页：https://projects.zxhezexin.com/neural-lightrig/

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
CVPR 2025 论文和代码下载
在CVer公众号后台回复：CVPR2025，即可下载CVPR 2025论文和代码开源的论文合集
ECCV 2024 论文和代码下载
在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集

CV垂直方向和论文投稿交流群成立

扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者论文投稿+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看