论文阅读：pixelNeRF: Neural Radiance Fields from One or Few Images

最新推荐文章于 2024-05-16 20:54:12 发布
最新推荐文章于 2024-05-16 20:54:12 发布
阅读量589 收藏
点赞数
分类专栏： 神经辐射场 文章标签： 论文阅读 深度学习 计算机视觉 神经辐射场 图像编码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/blueag1e/article/details/129132048
版权

中文标题：从一或少量图像中构建神经辐射场

提出问题

  • NeRF效果虽然惊艳，但是其需要大量环绕图像以及长时间的训练。

创新点

  • 与原始的NeRF网络不使用任何图像特征不同，pixelNeRF将与每个像素对齐的空间图像特征作为输入。
  • 也可以集合更多输入相关场景特征。

具体实现

图像约束神经辐射场

  • 为了克服NeRF不能在场景间分享Knowledge的缺陷，文章提出适应图像空间特征的NeRF。
  • 提出的模型包括两部分：一个全卷积图像编码器以及一个NeRF的MLP网络。

单图Pixel-NeRF

  • 首先对输入图像提取特征 W = E ( I ) W=E(I) W=E(I).
    在这里插入图片描述

  • 然后将射线x投影回输入图像平面 π ( x ) \pi(x) π(x), 然后通过插值查找对应特征 W ( π ( x ) ) W(\pi(x)) W(π(x))。

  • 最后将对应特征一起送入MLP。
    在这里插入图片描述

  • 如果查询视图方向与输入视图方向相似，则模型可以更直接地依赖于输入；如果它不同，则模型必须利用学习到的先验。

合并多个视图

  • 多个视角为场景提供了额外的信息，能够解决单视角下的几何歧义。文章提出的框架可以扩展到任意数量的输入图像。
  • 我们将一个视图方向为d的查询点x转换为每个输入视图i的坐标系：
    在这里插入图片描述
    在这里插入图片描述
  • ψ \psi ψ 是平均池化操作。 f = f 1 ∘ f 2 f = f_1 \circ f_2 f=f1​∘f2​。
    在这里插入图片描述

参考文献

[1] Yu A, Ye V, Tancik M, et al. pixelnerf: Neural radiance fields from one or few images[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 4578-4587.

【CVPR 2021】pixelNeRF: Neural Radiance Fields from One or Few Images
梁瑛平的博客
09-15 829
现有的构建 NeRF 的方法通常独立地优化对每个场景的表示，需要许多校准的视图和显著的计算时间。作者通过引入了全卷积的架构，为解决这些缺点迈出了一步。这允许网络跨多个场景进行训练，以预先学习一个场景，使它能够以前馈的方式从稀疏的视图集（只有一个视图）执行新的视图合成。然后利用 NeRF 的体积渲染方法，pixelNeRF 可以直接从图像中训练，而无需明确的三维监督。作者在 ShapeNet 基准测试上进行了广泛的实验，包括保留的对象以及整个看不见的类别。
人体三维重建【文章汇总】Humans
zik的博客
07-03 2181
PA-MPJPE则是在计算误差之前，首先对预测的姿态进行了最佳比例的刚体变换（包括旋转、平移和缩放），这一过程通常通过Procrustes分析实现，目的是为了消除全局旋转和平移的影响，以及可能的比例差异，从而更加专注于评估姿态结构本身的准确性。PCK指标计算的是被正确检测出的关键点数量占总关键点数量的百分比，这里的“正确检测”指的是预测的关键点位置与真实位置之间的距离小于或等于一个给定的误差阈值（通常以关节或者像素为单位）。：对每个关节的位置序列进行一阶微分，得到各个关节的速度随时间的变化情况。
【读论文】pixelNeRF: Neural Radiance Fields from One or Few Images (CVPR2021)
weixin_73987072的博客
05-16 1529
①我们提出pixelNeRF：一个学习框架，可以预先预测以一个或多个输入图像为条件的连续神经场景表示。②老的NeRF缺点：需要许多校准的视图和大量的计算时间。③引入了一种架构，以完全卷积的方式在图像输入上对NeRF进行条件。这允许网络在多个场景中进行训练，以便在之前学习一个场景，使其能够从一组稀疏的视图（只有一个）中以前馈方式执行新颖的视图合成。④利用NeRF的体积渲染方法，我们的模型可以直接从图像中训练，无需清晰3D监督。
[CVPR2021]pixelNeRF: Neural Radiance Fields from One or Few Images
wrk226的博客
04-06 3326
本文是针对NeRF的优化，NeRF中往往需要同一个场景中非常多的图片才能很好地生成新的视角，而pixelNeRF就提出了一种方式来让模型在仅有几张甚至一张图的情况下也能生成新视角。 文中提出，NeRF之所以无法在一张图基础上生成新视角的原因是没有先验信息。因此本文预先通过resnet对输入图片提取了基于每个像素的信息，然后在生成新视角时通过查询对应像素上的信息从而获得先验，辅助NeRF生成新视角的图像。 上图就是在网络仅有一张图片作为输入时网络的运行流程，最中间绿色的那个f其实就是NeRF，因此与N
pixelNeRF: Neural Radiance Fields from One or Few Images 翻译笔记
ysh的博客
05-06 2857
目录 Abstract 1. Introduction 2.相关工作对比 3.NeRF限制 4.Image-conditioned NeRF 4.1Single-Image pixelNeRF 4.2Incorporating Multiple Views 合并多个视图 5.Experiments Implementation Details 5.1. ShapeNet Benchmarks 5.1.1 Category-specifific View Synthesis Benc
(shorthand) pixelNeRF: Neural Radiance Fields from One or Few Images
页页读
07-04 536
支持a sparse set of views，甚至支持仅仅一个view，也可以进行novel view synthesis。在NeRF的基础上加上了2D view image features. 加上这个可以学习scene的先验信息。这样做的好处：一，泛化性好；二，收敛快。 除了加上image feature 外，nerf部分也做了改变，在网络一开始的位置就将direction一并输入，因为作者认为multi-view case，view .........
CVPR 2021最全论文开放下载！附pdf下载链接！
热门推荐
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6224
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
【ECCV2020】接收论文列表part1
TomRen
07-18 7013
ECCV2020 接收论文完整列表 看论文学CV
【论文笔记 - NeRFs - CVPR/ICCV2021】NeRF泛化相关工作——pixelNeRF，IBRNet，MVSNeRF
qq_43491212的博客
02-18 2632
最初的NeRF只将图片作为监督信号，没有充分利用已有的信息，导致每个场景都要重新训练、需要较为密集的采样、训练时间长等问题。以上三篇论文都采用了2DCNN来提取图像的特征，然后建立场景与特征图之间的联系，一定程度上弥补了NeRF的缺陷。
pixelNeRF学习
qq_44708206的博客
11-29 915
pixelNeRF
NeRF必读：PixelNeRF
i_head_no_back的博客
04-04 2842
利用稀疏输入构建三维场景表达。可以基于category泛化三维场景表达（在张三李四上训练，给张王五的照片就能生成王五了，但给张哈士奇不一定能行得通）。
19、pixelNeRF
小白的博客
08-23 1386
pixelNerf
泛化nerf系列：pixelNeRF 一种基于NeRF的多视角三维重建网络
qq_44916258的博客
05-29 6388
1摘要 文中提出了一种新的学习框架PixelNeRF，针对的是原本NeRF的不足。即现有的构建神经辐射场的方法往往需要大量的已知观察视角的图片作为输入并且需要花费大量的训练时间。PixelNeRF为了克服这些不足，允许网络跨多个场景被训练以学习先前的场景（获取场景先验知识），使其能够以前馈的方式从稀疏（sparse）的视图集(如一个)执行新的视图合成。利用NERF的体绘制方法，文中的模型可以在没有显式3D监督的情况下直接从图像训练。 论文进行了大量实验，实验结果表明，在所有情况下，PixelNeRF在新颖的
CVPR 2021 | pixelNeRF：一种基于NeRF的多视图三维重建网络
3D视觉工坊
05-06 3298
项目、论文地址：在公众号「3D视觉工坊」，后台回复「pixelNeRF」，即可直接下载。概述作者提出了pixelNeRF，一个只需要输入单张或多张图像，就能得到连续场景表示的学习框架。由于...
NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling论文翻译
ysh的博客
04-14 3110
使用超采样的高质量神经辐射场 Abstract 我们提出了NeRF-SR，一种高分辨率(HR)新视图合成的解决方案，主要采用低分辨率(LR)输入。我们的方法是建立在神经辐射场(NeRF)[33]的基础上的，该[33]通过多层感知器预测每一个点的密度和颜色。在生成任意尺度的图像时，NeRF正在努力处理超出观测图像的分辨率。我们的关键见解是，NeRF有一个局部先验，这意味着一个三维点的预测可以在附近的区域传播，并保持准确。我们首先利用一种超采样策略，在每个图像像素上拍摄多条光线，从而在亚像素水平上施加多视图
【NeRF】背景、改进、应用与发展
Joselynzhao
05-24 1万+
推荐阅读： Neural Fields in Visual Computing and Beyond[1] State of the art on neural rendering[2] NeRF Explosion 2020 awesome-NeRF 主要参考文献：https://zhuanlan.zhihu.com/p/512538748 GIRAFFE[12]再次凭借隐式表示中的物体编辑和组合获得CVPR2021年的best paper 。 1 背景 3D场景表征可分别为： 显式 （explic
[非卷积5D] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
江南蜡笔小新
04-06 6251
不使用3D建模，使用静态图片进行训练，用(非卷积)深度网络表示场景的5D连续体表示，再通过ray marching进行渲染。 paper:《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》 NeRF: Representing Scenes as Neural Radiance Fields ...
论文阅读整理
CSS360的博客
01-28 469
Implicit Functions in Feature Space for 3D Shape Reconstruction and Completion
Neural Radiance Fields Julia
最新发布
03-09
### 实现 Neural Radiance Fields (NeRF) 的 Julia 版本 Neural Radiance Fields 是一种用于从多视角图像合成新视图的技术。该方法通过训练一个连续的场景函数来表示三维环境中的辐射度，从而能够渲染高质量的新视角图像。 在 Julia 中实现 NeRF 需要几个关键组件： 1. **数据准备** 数据集通常由一组不同角度拍摄的对象或场景的照片组成。这些照片需要经过预处理以便于后续模型训练[^1]。 2. **网络架构设计** 使用深度学习库 Flux 或 Knet 来构建一个多层感知器(MLP)，这个 MLP 将位置坐标作为输入并预测对应的颜色和体积密度值。为了提高效率，可以采用分层采样策略以及引入空间编码技术如 Positional Encoding[^2]。 3. **损失函数定义** 定义合适的损失函数对于优化至关重要。常见的做法是计算预测像素颜色与真实图片之间的均方误差(MSE)[^3]。 4. **渲染过程模拟** 渲染阶段涉及到沿着射线积分得到最终观察到的颜色。这一步骤可以通过数值积分完成，在实践中常用的方法有反向投影法等[^4]。 下面是一个简单的伪代码框架展示如何用 Julia 和 Flux 库搭建基本版 NeRF: ```julia using Flux, Statistics, Random struct NerfModel model::Chain end function positional_encoding(x, L=10) encoded = [] for i in 0:L-1 push!(encoded, sin.(2^(i)*π*x)) push!(encoded, cos.(2^(i)*π*x)) end vcat(encoded...) end # 初始化神经网络结构 nerf_model = Chain( Dense(63, 256, relu), Dense(256, 256, relu), Dense(256, 256, relu), Dense(256, 4) ) # 训练循环简化版本 for epoch in 1:num_epochs # 获取一批次的数据 batch_data = get_batch() # 前向传播 predictions = nerf_model(positional_encoding(batch_data["points"])) # 计算损失 loss_value = mean((predictions .- batch_data["colors"]) .^ 2) # 反向传播更新参数... end ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BlueagleAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值