NERF论文笔记(1/2)

已于 2024-04-02 19:52:23 修改
阅读量1.7k 收藏 12
点赞数 42
分类专栏： 自动驾驶感知算法 3D计算机视觉 三维重建 文章标签： 论文阅读 NERF
于 2024-03-04 17:36:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/CSUzhangpeike/article/details/136458186
版权
这篇博客详细介绍了NeRF（神经辐射场）技术，通过优化连续的体积场景函数，实现从稀疏场景图像生成任意视角的视图。NeRF利用全连接深度网络表示场景，输入为5维坐标，输出体积密度和依赖于视点的发射辐射。文章涵盖NeRF的基本原理，包括体积渲染、网络结构以及两项技术改进：位置编码和多层采样。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

NeRF:Representing Scene as Neural Radiance Fields for View Synthesis 笔记

摘要

实现了一个任意视角视图生成算法：输入稀疏的场景图像，通过优化连续的Volumetric场景函数实现；用全连接深度网络表达场景，输入是一个连续的5维坐标，3D坐标+2D角度（航向、俯仰角），输出Volume density和依赖于视图的emitted radiance，查询5维坐标并用经典的Volume Rendering把输出的颜色与强度投影到图像。

介绍

a. march camera rays，我理解为从焦点投射射线到场景，获取3D坐标点。
b. 用3D点 x \bold{x} x与对应的2D角度(用单位向量 d \bold{d} d)输入，输出颜色 c \bold{c} c和强度 σ \sigma σ。
c. 合成图像。

Neural Radiance Field场景表达

F θ : ( x , d ) → ( c , σ ) F_{\theta}:(\bold{x},\bold{d})\rarr(\bold{c},\sigma) Fθ​:(x,d)→(c,σ)
输出 σ \sigma σ只与输入位置坐标 x \bold{x} x有关， c \bold{c} c则与 x \bold{x} x、 d \bold{d} d有关。

网络结构，输入 x \bold{x} x的8层全连接层，均为256通道，各层带ReLU激活，输出 σ \sigma σ、256维特征，此特征再与 d \bold{d} d聚合，输入一层带ReLU的全连接层，输出 c \bold{c} c。

Volume Rendering

位置坐标 x \bold{x} x表达为相机射线 r \bold{r} r， r ( t ) = o + t d \bold{r}(t)=\bold{o}+t\bold{d} r(t)=o+td，t是从焦点 o o o出发的长度，积分上下界是远端、近端。
C ( r ) = ∫ t n t f T ( t ) σ ( r

最低0.47元/天 解锁文章
NeRF算法论文解析与翻译
超爱吃小蛋糕的66的博客
01-15 1638
我们提出了一种方法，该方法通过使用稀疏的输入视图集来优化底层连续体积场景函数，实现了合成复杂场景的新视图的最新结果。我们的算法使用一个全连接(非卷积)深度网络来表示一个场景，其输入是一个连续的5D坐标(3D位置+2D旋转)，输出是该空间对应的体素密度和基于视角的辐射场。我们沿着相机光线查询5D坐标，并使用经典的体积渲染技术将输出的颜色和密度投影到图像中。因为体积渲染是自然可微分的，所以优化我们的表示所需的唯一输入是一组具有已知相机姿势的图像。
[NeRF论文阅读笔记] mip-nerf
weixin_42262385的博客
11-03 1433
NeRF只在相机位置固定、分辨率与训练图像一致的新视角生成上表现较好。当拉近、拉远时（在多分辨率下观察场景），图像会产生锯齿以及模糊。Mip-NeRF针对这样的混叠问题作出了改进
nerf的相关论文
啊哈的专栏
04-06 645
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis FastNeRF: High-Fidelity Neural Rendering at 200FPS AD-NeRF: Audio Driven Neural Radiance Fields for Talking Head Synthesis
NeRF论文解析 - Neural Radiance Field
sjjssuwjn的博客
03-03 8746
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
【经典论文阅读】NeRF（神经辐射场，neural radiance fields）
m0_65787507的博客
11-23 1620
输入：空间位置（3维）+ 视角方向（2维）输出：体积密度 + RGB颜色。
原始 NeRF（新视图重建的神经辐射场） 论文主要点细致介绍
OrdinaryMatthew的博客
06-23 4010
本文介绍论文 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis（ ECCV 2020）里面主要的 3 个部分：Volume Rendering，Positional Encoding 和 Hierarchical Volume Sampling。相信本文详细的介绍会让你对 NeRF 的论文有比较深入细致的了解。本文主要参照 vtuber AI葵的视频讲解，讲解1链接和讲解2链接。在这里首先要说明的是 NeRF 论文中
论文笔记：NeRF++（2020）
flow_specter的博客
08-10 1536
论文链接：https://arxiv.org/pdf/2010.07492.pdf。
【论文阅读笔记】Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields
weixin_43357695的博客
01-04 3894
MipNeRF360是在NeRF++和MipNeRF的基础上进行的扩展，利用NeRF++提出的远景参数化技巧和MipNeRF的低通滤波思想同时实现了无界场景的高质量渲染与抗锯齿。现有方法在新视角合成方面取得了令人影响深刻的结果但是现有方案由于附近和远处物体的细节和比例不平衡导致模糊和低分辨率渲染场景参数化在线蒸馏和一种失真正则化来克服抗锯齿和无界场景渲染目标场景是相机围绕一个点旋转360度的场景，同时能够得到较低的误差和更好的渲染质量、更详细的深度图使用一种新颖的类卡尔曼场景参数化。
Point NeRF 论文阅读
m0_53281987的博客
11-11 945
Figure 1. Point-NeRF 使用神经 3D 点表示和渲染连续的辐射体积。通过多视图图像的网络,前向推理来预测基于点的辐射场,之后针对每个场景进行优化，最终实现在几十分钟内超过NeRF的重建质量。同时，Point-NeRF利用COLMAP[42]等现成的重建方法，执行点修剪和增长，自动修复这些方法中的孔洞和异常值。像NeRF的体积神经渲染方法，可以重建高质量的场景，但在优化每个场景的时候，需要很长的时间；另一方法，深度多视图方法（MVS)可以通过网络推理快速重建场景几何。
2021-2023神经辐射场（NeRF）118篇顶会论文合集（已分类整理）
学姐带你玩AI的博客
11-07 2681
有没有发现最近神经辐射场相关话题又有点爆了？其实NeRF一直都挺火的，相关论文在Google Scholar上引用量已经超过6000次，每年顶级视觉会议如CVPR、ICCV、ECCV等都有大量关于神经辐射场的高质量工作被接受。许多科研机构和公司比如微软、Facebook、谷歌等都在研究神经辐射场的不同应用，有的已经将其应用于产品中，如捕捉人体动作等。今年有关NeRF的最新研究也有不少了，上次和你们简单分享了17篇，。这次我爆肝整理了论文资料已经帮大家做了分类，需要的同学看文末打包领走。
《Representing Scenes asNeural Radiance Fields for View Synthesis》论文解析——NeRF
大摆王的博客
11-16 1088
NeRF这篇论文提出了一种通过优化一个连续的5D体积场景函数来合成复杂场景新视图的方法。该算法使用一个全连接的深度网络来表示场景，输入是单一连续的5D坐标（空间位置和观察方向），输出是该位置的体积密度和依赖于观察方向的发射辐射度。通过沿相机射线查询5D坐标并使用经典体积渲染技术将输出颜色和密度投影到图像中来合成视图。由于体积渲染是自然可微分的，因此只需要一组具有已知相机姿态的图像来优化表示。论文描述了如何有效地优化神经辐射场以渲染具有复杂几何形状和外观的场景的逼真新视图，并展示了超越先前工作的成果。
神经辐射场（NeRF）2023最新论文及源代码合集
学姐带你玩AI的博客
09-29 1353
神经辐射场（NeRF）作为一种先进的计算机图形学技术，能够生成高质量的三维重建模型，在计算机图形学、计算机视觉、增强现实等领域都有着广泛的应用前景，因此，自2020年惊艳亮相后，神经辐射场也成为了人工智能领域的热门研究方向。这种热门自然也体现在论文上，近年各大顶会中神经辐射场相关的论文数量增长迅速，CVPR 2021年发表了不到10篇NeRF论文，到了2022年就有超过50篇关于该主题的论文，所以我建议有想法发顶会的同学抓紧时间。
【论文精读】NeRF —— 解读《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》
weixin_53215555的博客
09-14 2908
NeRF论文阅读和学习（不断补充中...）
NeRF论文讲解以及公式推导
m0_53955985的博客
01-31 1309
对论文结构进行梳理以及重要公式的推导
NeRF系列论文阅读
fisherisfish的博客
12-01 622
这段话的核心含义是空间点的输入差异太小了，所以放大到高维空间，扩大它们之间的差异，从而使得重建结果能够区分很相近的点的差异，具体效果可以看实验结果图。数学上，它的颜色由下面的“体渲染公式”计算而出，其中C表示渲染出的像素点颜色，σ表示体素密度， r 和 d 分别表示camera ray上的距离和ray上的方向，r=o+dt， t表示在camera ray上采样点离相机光心的距离，T表示透射比，也叫光学厚度、介质透明度，c表示当前区域的粒子发光和内散射辐射强度，也就是表面的实际颜色。至于为什么是这样的？
【三维重建NeRF(二)】经典NeRF论文解读（结合代码）
qq_45028907的博客
05-19 1252
关于NeRF主要内容的理解
【3D】NeRF论文随笔
Hatim98的博客
10-10 5493
NeRF实在太火了，今天把这个坑稍微填上一点点。读完论文，感觉作者一步步做的写的真奇妙，不愧是oral。 那么什么是NeRF呢？NeRF中文可译作“神经辐射场”，类似于DeepSDF，它也通过MLP隐式地表征出一个三维场景。不同的是，NeRF用 RGB-σ 代替了SDF，实现了更加强大的渲染效果。
NeRF论文阅读
weixin_51179742的博客
07-05 1486
NeRF 论文翻译
Nerf-DS论文精读
farmerytr的博客
02-28 1721
在传统的动态NeRF模型中，一般是将动态场景的帧间移动点从观察空间变形到一个共同的规范空间用于渲染，但是这并没有考虑到变形过程中镜面反射物体颜色的变化。镜面反射物体的颜色不仅依赖于物体本身的属性，还受到其相对于光源和观察者位置的影响。当物体移动时，这些相对位置发生变化，导致反射颜色变化，所以传统的动态NeRF模型对镜面物体的渲染效果极差。该论文提出了一种重新参数化的动态NeRF模型，该模型通过使用观察空间坐标和表面法线来更好地模拟动态镜面表面。
nerf论文解读复现
最新发布
03-18
### NeRF 论文详解及其实现教程 #### 基本概念 NeRF (Neural Radiance Fields) 是一种用于视图合成的技术，能够通过对场景的多角度图像进行建模，在未观察到的角度上生成高质量的新视图。其核心思想是将连续的体积密度和辐射度表示为神经网络的隐函数[^1]。 具体而言，NeRF 使用 MLP（多层感知机）来学习一个从空间位置 \( \mathbf{x} \in \mathbb{R}^3 \) 和观测方向 \( \mathbf{d} \in \mathbb{S}^2 \) 到颜色 \( \mathbf{c}(\mathbf{x},\mathbf{d}) \) 和体积密度 \( \sigma(\mathbf{x}) \) 的映射关系。这种设计使得 NeRF 能够捕捉复杂的几何结构和外观细节[^2]。 #### 实现流程概述 为了复现实现 NeRF，通常需要以下几个主要步骤： 1. **数据准备**: 收集一组目标物体或多视角场景的照片，并记录相机参数（如内在矩阵、外在矩阵等）。这一步可以通过 COLMAP 或其他 SfM 工具完成。 2. **模型定义**: 定义两个嵌套的 MLP 结构——粗略采样阶段和精细采样阶段。前者负责快速估计场景的大致分布，后者则进一步优化光线上的样本点以提高精度[^3]。 3. **前向传播计算**: 对于每条光线，执行分步积分操作，结合采样的位置信息与方向信息预测最终像素的颜色值。 4. **损失函数构建**: 主要采用 MSE Loss 来衡量预测图像与真实图像之间的差异。此外还可以加入正则化项防止过拟合等问题发生。 5. **训练过程管理**: 设置合适的超参并监控指标变化趋势直至收敛为止。 以下是基于 PyTorch 的简单代码框架展示如何搭建基础版 NeRF 模型: ```python import torch from torch import nn class BasicMLP(nn.Module): def __init__(self, input_dim=3, hidden_dim=256, output_dim=4): super(BasicMLP, self).__init__() layers = [] for _ in range(8): # Define depth of network here. layers.append(nn.Linear(input_dim if not layers else hidden_dim, hidden_dim)) layers.append(nn.ReLU()) self.mlp_network = nn.Sequential(*layers, nn.Linear(hidden_dim, output_dim)) def forward(self, x): return self.mlp_network(x) def render_rays(ray_batch, model_coarse, model_fine=None): """Render rays by computing the output colors given a model.""" N_rand = ray_batch.shape[0] z_vals = ... # Sample points along each ray according to some strategy. pts = ... # Compute point locations based on sampled distances and origins/directions from `ray_batch`. raw_coarse = model_coarse(pts.view(-1,pts.size(-1))).view(N_rand,-1,model_coarse.output_dim) rgb_map_coarse, weights = volume_rendering(raw_coarse[..., :3], raw_coarse[..., -1:], z_vals=z_vals) if model_fine is None: return {'rgb': rgb_map_coarse} fine_z_vals = sample_pdf(z_vals, weights[:, :-1].detach(), N_importance).detach() fine_points = get_ray_points_from_zvals(...) raw_fine = model_fine(fine_points.reshape(-1,fine_points.size(-1))) rgb_map_fine = ... outputs = { 'rgb_coarse': rgb_map_coarse, 'rgb_fine': rgb_map_fine} return outputs ``` 以上仅为简化版本示意用途，请参照官方仓库链接获取更完整的源码文件。 --- #### 当前研究进展中的挑战与发展 尽管 NeRF 取得了显著成就，但在实际应用场景下仍存在诸多局限性。例如当面对动态对象或者大规模户外环境时表现不佳；另外长时间耗损较大的计算资源也是亟待解决的问题之一[^4]。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值