Nerf系列: 可用于多视角生成的场景表示

CVPR 2023 | 语义分割新范式:点监督遇上隐式场 但是像素级别的密集标注非常昂贵, 对一些任务也无法给出精准的像素标注,如在图像本征分解中为野外(in-the-wild)图像标注特定的反射率。然而,考虑到在密集预测任务中由专门设计的密集预测网络提取的高级语义信息的重要性,我们提出了一种新的范式,该范式结合了密集预测主干和隐式场。是相对坐标, 是像素 的坐标。在本文中,为解决像素级标注的昂贵代价,我们专注于点监督密集预测,并提出了一种针对点坐标查询进行密集值预测的新范式——是 的预测头, 是基线密集预测值, 是从 的中间层的输出中提取的高级特征。 阅读详情

了解更多关于《计算机视觉与图形学》相关知识,请关注公众号:计算机视觉与图形学实战
下载我们视频中代码和相关讲义,请在公众号回复:计算机视觉课程资料

Nerf: 可用于多视角生成的场景表示

一、初代Nerf

《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》一文提出了一种基于光照模型隐式场表示的场景表示方法Nerf,用于生成一个场景的不同视角。

Nerf作为一种场表示,其输入是三维空间某个顶点的三维坐标x\in R^3以及视角方向(\theta, \phi),是一个5D的向量。其输出为该位置发射的光线颜色c=(r,g,b)以及该点的体密度\sigma。该隐式场的函数表示为F_\Theta:(x,d)\rightarrow (c,\sigma)。考虑到空间中点的体密度应该独立于视角方向,F_\Theta首先将输入的三维坐标x经过8层(Relu,256通道)的全连接层编码为体密度\sigma和256D的隐向量。该隐向量随后与输入的视角拼接并经过一层(Relu,128通道)的全连接层回归出取决于视角信息的RGB颜色值c。

体密度\sigma表示光线到达此处后终止的概率,因此对于某个视角o发出的方向为d的光线,其在t时刻到达点r(t)=o+td,那么沿这个方向对颜色积分,获得最终的颜色值为:

实际渲染方式为,将光线在最近最远距离上等距分割为N个部分,在每部分中均匀采样出一个点,获得N个点,对于N个点进行离散的积分近似。公式如下:

以上便是Nerf的核心部分,但是作者通过训练发现这样的深度模型并不能达到state-of-the-art的效果,接着给出了两个改进方式。

  1. 位置编码
    作者根据了Rahaman等人在ICML 2018上的《On the spectral bias of neural networks. In: ICML (2018) 》工作给出的结论:深度网络更偏向于学习空间中的低频信号。如果对于跳变剧烈的信号,仅仅使用坐标表示作为输入的深度网络是难以拟合的。因此作者将坐标表示通过高频函数映射到了更高维空间中,具体方式是通过多周期的正余弦函数将坐标和方向映射到更高维空间中:

    其中对于坐标L取10,对于方向L取4.
  2. 层级体采样
    对于每条光线统一的采用均匀的N个样本点采样有时会造成浪费。因为不同区域对于最终的颜色输出具有不同的贡献,应该着重于采样那些更具贡献的区间。将C用新的形式表示:

    便可以获得每个点对应的贡献权重。作者同时训练两个网络,一个用于粗渲染,另一个用于精细渲染。后者利用前者获得的样本点贡献值权重进行重新加权采样,能够更为关注贡献值较大的区域,达到更为精确的渲染结果。

最终Loss定义为两个网络的Loss之和:

最终作者给出的结果还是非常炫酷的:

二、Nerf++

《N E RF++: Analyzing and Improving Neural Radiance Fields》一文为Nerf提供了一个改进版本,并分析了Nerf内蕴的问题。
这篇文章的主要贡献就是两点:
  1. 分析了Nerf内在的形状-光线模糊性,并解释了Nerf如何克服这种模糊性的。
  2. 解决了初代Nerf存在的远距离背景的参数化困难,让Nerf可以更好的对Unbounded的场景进行建模。

第一点,Nerf确实存在这形状-光线的歧义性,或者说是模糊性。对于在一个场景数据下训练好的Nerf表示,其空间的几何表示可能是错误的,但仍然可以在训练样本上渲染出正确的结果。作者通过一个实验证明了这一点。固定几何为一个单位半球,在训练样本上得到了接近GT的结果,但其在测试样本上惨不忍睹。

作者认为有两点因素让Nerf避免受这样的歧义性干扰,一点是如果\sigma和正确的几何形状偏差较大,那么c的建模必然是关于方向d的高频信号。对于正确的几何建模,c的建模会是平滑的。受限于MLP的有限回归能力,\sigma与正确几何偏差较大的表示对应的c是难以训练出来的。另一点因素是方向d参数在靠后的层数才被输入,这更加限制了利用该信息拟合高频信号的能力,再加上考虑对于d的正余弦编码到高维空间的空间维度2L的L参数,方向d的L值为4,相比于x的10小,也限制了其表达能力。因此最终训练得到的隐式场反映的会是正确的几何。

第二点,作者分析了Nerf在建模室外场景时遇到的困难。对于远景,如果不对其进行建模,则会造成背景误差,如果对其建模,由于尺度问题会造成前景的分辨率下降。为了克服这个困难,作者对前后景分别进行建模。前景被约束在一个单位半球中,后景在半球之外。半球内部的Nerf积分方式与之前相同,对于半球之外的颜色积分,采用\frac{1}{r}作为积分变量。整体的公式可以写为如下形式:

最终作者给出了相较于Nerf对前后景更为精准的建模。

三、Nerf in the Wild

《NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections》这篇文章对Nerf进行了另一种补充改进。考虑到Nerf建模对象是静态环境,每张图片描述的场景具备同样的几何内容,光照条件,因此它无法胜任在不同光照条件和场景内容有区别的场景建模。

如上图所示,作者将每张图片的Appearance和Transient都预先编码成两个固定向量l_i^{(a)},l_i^{(\tau)}。这两个向量作为条件决定了静态场景颜色和瞬变物体颜色以及不确定度。值得注意的是这套方法仅仅用在fine Nerf上,对于coarse Nerf,其配置与初代Nerf保持一致。

Nerf in the Wild 在动态场景和变换光照的数据上能够取得不错的效果。

四、Neural Sparse Voxel Fields

《Neural Sparse Voxel Fields》使用了稀疏体素结合Nerf隐式场的方式对场景进行建模。对于空间中某个点关于某个方向的颜色输出和不透明度,是通过其所在的voxel的八个顶点的特征,通过插值和编码,再由共享参数的函数F进行计算得到。

自剪枝:NSVF通过阈值控制一个体素被剪枝。如果八个顶点的occupacy都小于某个阈值,那么该体素被去除。剪枝后的模型可以用于下一轮细化训练。如下图所示:

体素的初始化可以通过扫描点云或者凸包来进行粗略的估计。

五、Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes

这篇文章利用Nerf建模了动态场景。模型输入包含坐标、方向、时间,输出包含了空间密度,反射颜色,时域双向流,以及遮挡权重。公式如下形式:

为了训练这样的模型,作者给出了多种优化约束。

空域光度一致性:i时刻通过光线ri积分计算得到的像素点颜色,要与该光线经过流动之后,在新的坐标位置下,在j时刻积分计算得到的像素点颜色相同。该约束旨在让i时刻的nerf和j时刻的nerf分别在ri光线和经过流变换的ri曲光线上的积分得到相同的颜色值。但是这点约束存在一个问题,就是经过时间变换之后,由于流变换,物质表面法向量也变换,相同方向射入的光线不一定能够接收到相同的颜色值,因此积分结果不一定相同。该约束形式如下:

注意到使用的方向仍然是di,说明该约束默认动态flow仅仅是空间中的平移变换,默认约束位置对应的ci和cj在相同的方向有着相同的输出。

考虑到在i时刻未被遮挡的光线ri在j时刻被前景遮挡,那么上述约束就不合理了,因为经过流变换后的颜色不是j时刻该有的颜色,而是新的前景颜色,此时不应该约束j时刻的nerf去恢复背景色,而应鼓励其产生前景色。因此文中使用了一个遮挡权重作为遮挡区域的置信度,通过L1约束其零点稀疏,几乎处处为1,为1只在边缘遮挡区域起效。公式如下:

场景流先验:对于i到j和j到i时刻的场景流,通过循环一致性进行了约束,在出去遮挡发生的区域,两者应该是逆向的。

数据驱动先验:上述约束训练动态场景重建模型实在是太难了,很容易陷入局部最优,因此作者利用了数据驱动的方法来辅助模型训练。作者的手段包括两点:几何约束和深度约束。几何约束是将场景流映射到像素坐标上得到光流,再用训练好的光流网络进行光流L1约束。深度约束则是将场景的深度期望和深度网络预测的深度值进行L1约束。

文中对于场景的建模是结合了动态场和静态场的,因此最终的形式和loss为:

六、INerf: Inverting Neural Radiance Fields for Pose Estimation

有了一个训练好的nerf之后,我们注意到颜色积分公式是对坐标可导的。坐标又可以对相机参数进行求导,因此便可以使用nerf渲染得到的图片和目标图片的loss对相机参数进行梯度优化来进行相机姿态估计。

INerf一文中使用了Rodrigues Formula对相机姿态矩阵参数化表示,具体形式如下:

w是旋转轴,theta是旋转角度。该仿射变换矩阵定义了相机姿态。

为了更有效的进行相机姿态优化,图像采样尤为重要。由于直接采样整张图片的内存开销太大,作者采用了ROI采样,对于感兴趣部位的区域进行采样优化。

七、NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis

在看到这篇文章之前也有过仿真反射折射来对nerf进行改进的想法,但是这篇文章已经把反射做掉了。

这篇文章只考虑直接反射和one bounce反射,多次的反射并不考虑。考虑反射模型,就要对空间的反射参数进行估计。改写Nerf的公式为:

公式中的R是和材质纹理有关的反射参数,Li是入射光线。公式4对于半球角度进行积分累加。文中并不对光源到当前位置发射光线的衰减利用空间密度场σ进行积分计算,而是使用一个额外网络V进行估计。综合直接反射和one bounce反射,最终的颜色公式为:

V表示从点到光源之间的衰减系数,与场景几何相关。E表示光源入射到该点的光度值。其中t',也就是one bounce发生的位置,是用一个单独的网络D进行估计的,t'=D(x(t), -wi)预测了期望深度。为了保持D和V与建模的几何σ一致,Loss中除了重建loss还包括D和V的约束:

最终的效果为,可以通过调整E来重新设定光源。

八、Deformable Neural Radiance Fields

DNerf建模了场景内容的变形,但其目的不是为了提供多视角的动态图,而是为了对场景内容发生微小扰动更鲁棒。方法针对的是人的自拍图像,通过前后景分割,获得多张无背景的自拍人像。背景的信息用于相机标定,估计相机姿态参数和内参。在光线追踪过程中,为每一帧事先编码好变形特征,利用特征估计每个点的形变位移,通过位移获取标准空间中的位置,来估计颜色和密度。同样为每一帧准备了外观特征向量,用于处理各帧之间的差异性。Loss中除了重建误差还包括变形的弹性正则项,防止过拟合。类似于Nerf,该方法对空间坐标进行了三角函数编码,转换为更高维的向量。但空间编码在训练过程中被设定为从低频到高频的coarse2fine过程,在防止过拟合的同时不断增加清晰度。

论文笔记:NeRF++(2020) 论文链接:https://arxiv.org/pdf/2010.07492.pdf。 阅读详情

相关推荐

辐射神经场算法——NeRF算法详解

辐射神经唱算法——NeRF算法详解

weixin_44580210的博客 2万+

NeRF++

NeRF++学习

qq_44708206的博客 2426

4、nerf(pytorch)

nerf-pytorch

小白的博客 7297

Nerf: 可用于多视角生成的场景表示

Nerf: 可用于多视角生成的场景表示 一、初代Nerf 《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》一文提出了一种基于光照模型隐式场表示的场景表示方法Nerf,用于生成一个场景的不同视角。 Nerf作为一种场表示,其输入是三维空间某个顶点的三维坐标以及视角方向,是一个5D的向量。其输出为该位置发射的光线颜色以及该点的体密度。该隐式场的函数表示为。考虑到空间中点的体密度应该独立于视角方向,首先将输入的三

婷婷是信仰 9171

Instruct-NeRF2NeRF:通过用户指令编辑 NeRF 三维场景

Instruct-NeRF2NeRF:通过用户指令编辑 NeRF 三维场景 Instruct-nerf2nerf: Editing 3d scenes with instructions

m0_51976564的博客 2990

泛化nerf系列:pixelNeRF 一种基于NeRF的多视角三维重建网络

1摘要 文中提出了一种新的学习框架PixelNeRF,针对的是原本NeRF的不足。即现有的构建神经辐射场的方法往往需要大量的已知观察视角的图片作为输入并且需要花费大量的训练时间。PixelNeRF为了克服这些不足,允许网络跨多个场景被训练以学习先前的场景(获取场景先验知识),使其能够以前馈的方式从稀疏(sparse)的视图集(如一个)执行新的视图合成。利用NERF的体绘制方法,文中的模型可以在没有显式3D监督的情况下直接从图像训练。 论文进行了大量实验,实验结果表明,在所有情况下,PixelNeRF在新颖的

qq_44916258的博客 6749

NeRF:将场景表示为神经辐射场以用于视图合成

Nerf: Representing scenes as neural radiance fields for view synthesis NeRF:将场景表示为神经辐射场以用于视图合成

m0_51976564的博客 1064

利用Blender合成多视角图像For Nerf

多视角三维重构之Blender合成不同视角图片

博客内容均来自于团队成员长期以来在科研道路中的心得体会与经验总结,难免存在疏漏或偏差,欢迎大家分享,交流,探讨与指正 3473

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 神经辐射场将场景表示用于视图合成

系列论文 https://github.com/yenchenlin/awesome-NeRF 视频与演示 https://www.matthewtancik.com/nerf Core:使用完全连通(非卷积)的深度网络来表示场景,通过使用稀疏的输入视图集来优化底层的连续体积场景函数,从而获得用于合成复杂场景的新视图。查询相机光线上的5D坐标来合成视图,并使用经典的体绘制技术将输出的颜色和密度投影到图像中。建立5D矢量值函数的输入是3D位置x=(x,y,z)和2D观察方向(θ,φ),它的输出是发射的颜色c=

weixin_42821501的博客 3177

三维重建论文总结——nerf与多视角MVS结合

nerf与多视角MVS结合,如何用少量照片实现高质量渲染效果

Whn8249165的博客 1271

NERF基本原理

nerf简要原理

vonjor 2427

Point-NeRF总结记录

Point-NeRF阅读总结记录 PPT形式

fjyalzl的博客 6636

MVDream单图生成可编辑3D网格:告别NeRF的端到端多视角扩散方案

3D生成技术正从隐式表征(如NeRF、SDF)向显式几何回归演进。其核心原理在于将三维结构建模为顶点坐标的条件概率分布,通过多视角一致性约束实现刚体结构保真。相比传统方法,该路径显著提升几何可编辑性与工业可用性,支持直接输出带法线、UV和基础材质的三角网格(.obj/.glb),无需Marching Cubes重建或后训练优化。典型应用场景包括电商商品快速建模、游戏低多边形资产批量生成、工业设计概念验证及实时教学演示。MVDream作为代表方案,以单张RGB图像为输入,依托多视角扩散(Multi-View

weixin_30457551的博客 806

NeRF原理解析

NeRF

weixin_46363611的博客 9824

NeRF——AI生成虚拟3D场景视频

NeRF 是一种基于神经网络的3D场景表示方法,通过体积渲染和神经网络建模实现从2D图像到3D场景的高质量重建。其技术实现涉及复杂的输入编码、神经网络设计、体积渲染算法和高效的训练流程。随着研究的不断进展,NeRF 在计算机视觉、虚拟现实和3D渲染领域展现出广阔的应用前景。

m0_75253143的博客 1936

UE5.4像素流送实战:GPU驱动、WebRTC与系统级调优全解析

像素流送是将实时3D渲染画面通过WebRTC编码推流至浏览器的关键技术,其本质是GPU硬件编码(如NVENC)与低延迟网络传输(UDP+BBR)的深度协同。理解其原理需跨越图形API(Vulkan/DX12)、实时音视频(H.264/H.265)、WebRTC信令与NAT穿透四大技术层。技术价值在于突破终端算力限制,支撑远程工业仿真、云VR看房等高交互场景;但落地难点集中于基础设施层——如NVIDIA驱动与UE5.4.3的CUDA Toolkit 12.2兼容性、Linux内核TCP/UDP参数调优、GPU

weixin_32943857的博客 616

GANESH: Generalizable NeRF for Lensless Imaging——可推广的NeRF用于无透镜成像

GANESH: Generalizable NeRF for Lensless Imaging——可推广的NeRF用于无透镜成像

Together_CZ的博客 2362

本地AI语音生成与配音工作台Pandrator:从TTS到RVC的完整实践指南

语音合成(TTS)技术通过深度学习模型将文本转换为自然语音,其核心原理涉及声学建模与波形生成。这项技术不仅提升了人机交互体验,更在内容创作领域展现出巨大价值,广泛应用于有声书制作、视频配音、虚拟助手等场景。本文聚焦于一个集成了XTTS-v2、RVC等先进模型的本地化AI语音工作台——Pandrator,它通过模块化架构将语音合成、声音克隆、音频转录与翻译等流程无缝整合,为用户提供了一个图形化、可定制的完整解决方案。文章深入解析了其基于TTS与RVC(Retrieval-based Voice Convers

weixin_42676876的博客 341

NeRF总结

NeRF阅读论文以及各大博主后的个人总结

weixin_45572568的博客 4179

CTFHUB------XSS反射型(WP)

文章目录前言XSS测试平台 前言 一开始我直接在上面写js脚本发现出错,最后发现只能通过下面的输入框来执行XSS测试,于是我们只能用XSS测试平台解决问题 XSS测试平台 注册一个XSS测试平台 这里随便填写 勾选默认模块就够了,点击下一步 这时会出现一个找个将代码复制 拼接到网站后缀name后面,点击send 这时平台会收到一个记录点开即可 得到flag ...

Y4tacker的博客 1万+

华为昇腾910B3显卡实战:手把手教你部署DeepSeek 32B模型(含Bge-zh向量库配置)

本文详细介绍了在配备8张华为昇腾910B3显卡的服务器上,从零部署DeepSeek 32B大模型推理服务的完整实战方案。内容涵盖环境准备、模型配置、多卡负载分配,并集成了BGE中文向量模型与ChromaDB向量数据库,最终通过Open WebUI构建了可投入生产的企业级AI应用栈,为私有化大模型部署提供了具体参考。

weixin_29038345的博客 1714

一文搞懂 神经辐射场(Neural Radiance Fields,NeRF)

一文搞懂 神经辐射场(Neural Radiance Fields,NeRF)

qq_44324007的博客 4万+

用群辉NAS打造影视墙(Jellyfin篇)

之前的文章提到过,用群辉NAS组建影视播放系统可以采用官方提供的Video Station套件,不过影视信息配比较差,响应速度也欠佳,今天我们就聊聊别的套件。在影音媒体方面,常见的还有Emby、Plex、Jellyfin。本文主讲Jellfin的原因是它胜在免费,而且功能比较齐全,完全够用。详细信息可以参考Jellyfin的官网:https://jellyfin.org/

dgnankai的专栏 7326
上一篇: Error:You appear to be running an X server; please exit X before
下一篇: Could not find a version that satisfies the requirement opencv (from versions: )
元宇宙MetaAI
博客等级 码龄10年 331粉丝 333原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值