【2023.07.06】Nerf: Representing Scenes as Neural Radiance Fields for View Synthesis论文方法阅读

原创 已于 2023-07-06 20:08:32 修改 · 279 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#图形渲染

于 2023-07-06 20:05:32 首次发布
NERF利用隐式神经场和位置编码提升三维重建精度，通过分层采样和体渲染公式优化计算效率，再通过误差梯度下降优化神经辐射场。这种方法解决了传统方法的收敛精度问题和样本需求量大问题。

1.研究动机

传统用于三维重建的神经网络存在收敛精度不高、每束相机光线需要多个样本训练的问题。

为了解决这个问题，nerf将用位置编码的5d坐标用多层神经网络表示，这种结构能够表示更高频的函数。并且使用分层采样减少采样得到这个高频空间的查询次数。

2.nerf的渲染和优化步骤

1）隐式神经场：用基于坐标的全连接网络表达颜色场与体密度场

（1）为什么使用隐式神经表示

隐式神经表示(Implicit Neural Representation，INR）(也称为基于坐标的表示)将信号参数化一个连续函数，虽然该函数并不是解析的，但是使得信号所占的内存只与信号自身的复杂性相关，将信号与图像分辨率解耦合，因此可以实现超分辨率。

（2）使用隐式神经场的步骤

(a) 已知一条光线，\bar{r}(t)=\bar{o}+t\bar{d},光线方向\bar{d}=(\theta,\phi);沿光线采样\bar{r_i}=\bar{r}(t_i)=(x_i,y_i,z_i).

最低0.47元/天 解锁文章
FridaNN
关注
【AI】深度学习在编码中的应用（11）
giszz的博客
01-22 1889
视觉数据的智能编码压缩技术仍处于快速发展阶段，其主要发展趋势反映在新架构、新内容和新场景三个维度。本文具体将从隐式神经表示、多模态视觉数据压缩和面向人机混合智能的编码三个方面展开梳理和学习。
隐式神经表示（INR）在医学影像领域的全面解析
2401_86942725的博客
04-08 744
其一，它与分辨率无关，能够在连续域中运行，生成像素或体素网格之间的坐标值，这在处理不同分辨率的医学影像时极为方便。在图像重建方面，它把医学图像重建当作逆问题处理，输入噪声或欠采样的测量数据，输出完整的重建图像。像NeRP框架，借助先验知识编码神经网络权重，在稀疏采样数据上优化网络，最终重建出高质量的CT和MRI图像，还能有效展示肿瘤结构的变化。计算复杂性和训练时间过长是较为突出的问题，学习高维数据的神经表示需要消耗大量内存和计算资源，训练耗时严重影响实时应用，不过元学习和多尺度表示技术有望改善这一状况。
Implicit Neural Representation in Medical Imaging: A Comparative
08-02
INR在医学影像应用 项目链接：https://link.zhihu.com/?target=https%3A//github.com/mindflow-institue/Awesome-Implicit-Neural-Representations-in-Medical-imaging 内容简介： 隐式神经表示（INR）已成为场景重建和计算机图形学中强大的范式，展现出令人瞩目的成果。通过利用神经网络通过隐式连续函数参数化数据，INR提供了多种优势。认识到INR在这些领域之外的潜力，本综述旨在全面介绍INR模型在医学成像领域的应用。在医学环境中，存在许多具有挑战性和不适定性的问题，使INR成为一种吸引人的解决方案。 本综述探讨了INR在各种医学成像任务中的应用，如图像重建、分割、配准、新视角合成和压缩。它讨论了INR的优点和局限性，强调了其分辨率无关性、内存效率、避免局部偏差和可微分性，使其能够适应不同的任务。此外，综述还介绍了针对医学成像数据的挑战和注意事项，如数据可用性、计算复杂性和动态临床场景分析。它还确定了未来的研究方向和机遇，包括与多模态成像的集成、实时和交互式系统，以
概述：隐式神经表示（Implicit Neural Representations，INRs）
热门推荐
本博客主要总结计算机视觉（三维人体重建）方向的相关知识，同时发布个人见解以及领域进展！
09-01 2万+
本文主要概述了隐式神经表示的相关内容，主要倾向于三维重建的应用。同时对隐式表示做了一个展开阐述。
论文阅读：(CVPR 2022) Motion-Adjustable Neural Implicit Video Representation
mqy19960330的博客
06-21 1476
CVPR 2022 Motion-Adjustabe Neural Implicit Video Representation
【文献解析】NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
古月居
07-21 1667
从新视点生成照片级真实感输出需要正确处理复杂的几何体和材质反射比属性。目前还没有一种方法可以生成照片级的场景渲染，传统的Sfm重建质量不够高且仅仅将照片颜色投影到模型。我们提出了一种方法，通过使用稀疏的输入视图集优化底层连续体积场景函数，实现合成复杂场景的新颖视图的最先进的结果。我们的算法使用全连接（非卷积）深度网络表示场景，其输入是单个连续 5D 坐标（空间位置 (x, y, z) 和观察方向 (θ, φ)），其输出是体积密度和该空间位置处与视图相关的发射辐射率。
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 翻译
lijiaweitt的博客
08-24 1231
在这项工作中，我们解决了长期存在的问题，视图合成的一种新的方式，直接优化参数的连续5D场景表示，以尽量减少渲染一组捕获的图像的错误。我们将静态场景表示为连续的5D函数，其输出在空间中的每个点（x，y，z）处在每个方向（θ，φ）上发射的辐射，以及每个点处的密度，其作用类似于控制通过（x，y，z）的射线累积多少辐射的微分不透明度。我们的方法优化了一个没有任何卷积层的深度全连接神经网络（通常称为多层感知器或MLP），通过从单个5D坐标（x，y，z，θ，φ）回归到单个体积密度和视图相关的RGB颜色来表示该函数。
论文笔记NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
icylling的专栏
02-16 1065
NeRF使用神经网络来表示场景。给定一个场景，输入该场景稀疏的视角图片，NeRF可以合成该场景新的视角的图片。
【论文笔记 - NeRFs - ECCV2020】NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
qq_43491212的博客
01-31 692
本文采用MLP来隐式的表征三维场景。输入为粒子的空间位置和视角，输出粒子的透明度和颜色，通过体渲染得到像素值。
INR隐式神经表示综述（医学影像领域）Implicit Neural Representation in Medical Imaging: A Comparative Survey
m0_52987303的博客
01-13 6300
*隐式神经表示（Implicit neural representations (INRs)）**作为场景重建和计算机图形学中的强大范例而受到重视，并取得了显着的成果。通过利用神经网络通过隐式连续函数对数据进行参数化，INR 具有多种优势。认识到 INR 在这些领域之外的潜力，本次调查旨在提供医学成像领域 INR 模型的全面概述。在医疗环境中，存在许多具有挑战性和不适定的问题，这使得 INR 成为一个有吸引力的解决方案。
Uni-SLAM: 基于不确定性感知的神经隐式SLAM，用于实时密集室内场景重建
Together_CZ的博客
12-30 1795
Uni-SLAM: Uncertainty-Aware Neural Implicit SLAM for Real-Time Dense Indoor Scene Reconstruction Uni-SLAM: 基于不确定性感知的神经隐式SLAM，用于实时密集室内场景重建
神经隐式表示（Neural Implicit Representations, NIR）
weixin_58349913的博客
12-18 2633
神经隐式表示（Neural Implicit Representations, NIR）是一种基于神经网络的方法，用于表示和重建复杂的几何形状、物体表面、场景等。与传统的显式几何表示（如网格、点云、体素等）不同，神经隐式表示通过神经网络学习数据的隐式表达，通常是通过一个连续函数来表示形状、纹理或场景等的特征。
NeRF：视角合成下场景隐式表达为神经辐射场
liteng607的博客
11-09 1303
NeRF（Neural Radiance Fields）使用一个 MLP 来感知隐式表示（Latent representation），它的假设函数（Hypothesis funtion）定义为H:(x,d)→(c,σ)。其中x=(x,y,z)表示观察位置（归一化），d=(θ,ϕ)表示观察方向，c=(r,g,b)表示发光颜色，σ表示体素密度。这里只需要两个角度θ和ϕ就能表示方向，因为球坐标下：
隐式神经表示
qq_44708206的博客
11-22 2349
隐式神经表示
（2025|ICML|丹麦技术大学，潜在扩散/LDM，隐式神经表示/INR，超网络）Hyper-Transforming LDM
最新发布
qq_44681809的博客
07-04 1344
本文提出 LDMI，结合了 INR 的表达力与 LDM 的生成能力。HD 解码器使用 Transformer 架构支持概率建模，克服了 MLP 超网络的扩展性与确定性局限。LDMI 可灵活迁移已有模型至函数生成任务，适用于图像、3D、气候等多模态数据，支持高分辨率重建与生成
将隐式神经表示（INR）用于2D图像
Paper weekly
03-12 8324
©PaperWeekly 原创 ·作者 | 张一帆学校 | 中科院自动化所博士生研究方向 | 计算机视觉以图像为例，其最常见的表示方式为二维空间上的离散像素点。但是，在真实世界中，我们看...
神经稀疏体素场论文笔记
AI 算法笔记
01-09 2980
这是公众号的第 16 篇原创文章，本文大约 10000 字，阅读大约需要 30 分钟论文地址：https://proceedings.neurips.cc/paper/2020/file/b4b758962f17808746e9bb832a6fa4b8-Paper.pdfGithub：https://github.com/facebookresearch/NSVF摘要使用经典计算机图形技术对真实世界场景进行逼真的自由视角渲染具有挑战性，因为它需要捕获详细外观和几何模型
隐式神经表示(INRs)相关论文汇总
本博客主要总结计算机视觉（三维人体重建）方向的相关知识，同时发布个人见解以及领域进展！
08-25 3504
隐式神经表示Implicit neural representation（INR），利用MLP来拟合复杂信号，在图像处理以及三维重建等领域中得到了很好的应用，近几年关于INR的研究越来越多......
[非卷积5D中文翻译及学习笔记] 神经辐射场 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
江南蜡笔小新
05-02 1万+
本人非英语专业，如果表述错误敬请指出。 仅作个人学习笔记之用，转载请注明出处 https://editor.csdn.net/md?articleId=105890744 文章目录使用神经辐射场视觉合成来表示场景一、摘要 使用神经辐射场视觉合成来表示场景 一、摘要 我们提出了一种通过使用稀疏的输入视图集优化潜在的连续体场景函数来合成复杂场景的新视图的方法，从而获得最新的结果。我们的算法使用一...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值