S-NERF: NEURAL RADIANCE FIELDS FOR STREETVIEWS

最新推荐文章于 2025-12-15 12:08:33 发布
原创 最新推荐文章于 2025-12-15 12:08:33 发布 · 2.1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

S-NeRF是一种新的方法，能同时重建大规模静态背景和动态前景，如自动驾驶场景中的移动车辆。作者通过优化相机位姿、使用基于重投影的深度方法去除异常值，以及对移动车辆采用对象中心坐标系来处理动态元素。此外，他们应用Mip-NeRF-360对大场景建模，SoftRasterizer计算车辆深度，并利用NLSPN进行深度补全。通过重投影和几何一致性计算，文章提出了一种深度监督策略，以及可学习的置信度参数。尽管涉及复杂的损失函数设计，S-NeRF在nuscenes和waymo数据集上展示了有效性能。
部署运行你感兴趣的模型镜像

Abstract

作者提出了Street-view NeRF可以同时合成大型的静态背景和动态前景。文章亮点有以下

1. 作者重构了场景表达函数并优化了相机位姿

2. 作者提出了一种基于重投影的深度方法用来剔除depth outliers

3. S-NeRF可以重建动态车辆

4. 在nuscenes 和waymo上做了实验验证

作者把S-NeRF归类为Large-scale NeRF和Depth Supervised NeRF

Method

Camera Pose Processing

Pose Refinement:

作者使用了NeRF--在原有数据集的基础上做了pose的进一步优化（与此相似也可以进行其他的操作，见 GitHub - awesome-NeRF/awesome-NeRF: A curated list d 的pose estimation部分）

Moving Vehicles：

这个地方作者采用object-centric的思想，把坐标系转为vehicle的body坐标系，这样的话，就相当于小汽车没有动，只有相机在动了（水不转山转是吧）。

 

Representation of street scenes

Background Scenes:

说起来自动驾驶的场景往往都挺大的，怎么办呢？Mip-NeRF-360 scene parameterization 安排：

 Moving Vehicles:

首先创个initial mesh:主要是follow Geo Sim这篇文章（这个应该是没开源）

GeoSim: Realistic Video Simulation via Geometry-Aware Composition for Self-Driving | Yun Chen

然后就是Follow Soft Rasterizer的思路求解图像中Moving Vehicles的深度：

Soft rasterizer: A differentiable renderer for image-based 3d reasoning
 

Depth Supervision

作者首先试图补全深度，随后利用重投影置信度以及几何置信度对深度进行评估

深度补全：

将点云累积以后，利用NLSPN对深度进行补全。

NLSPN:

GitHub - zzangjinsun/NLSPN_ECCV20: Park et al., Non-Local Spatial Propagation Network for Depth Completion, ECCV, 2020

Reprojection Confidence

将target image 重投影到source image上：

 计算投影前后的误差：

Geometry Confidence

 根据重投影计算Geometry Consistency：

根据重投影计算Flow Consistency:

作者定义了一组参数\hat{\mathcal{C}}=\sum_i{\omega_i\mathcal{C}_i} , where \sum_i{\omega_i}=1, i \in {rgb,ssim,depth,flow} , 这组参数是learnable 的，可以将模型自动聚焦到正确的confidence上。

Loss设计

 比较难理解的是smooth loss的设计，这个作者是参考MINE这篇文章，这个我下篇文章再做笔记。

参考文献：

Xie, Ziyang, et al. "S-NeRF: Neural Radiance Fields for Street Views." arXiv preprint arXiv:2303.00749 (2023)

 

 


 

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.9

TensorFlow-v2.9

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

Rick0xFFFFFF
关注
【CVPR 2022】Deblur-NeRF: Neural Radiance Fields from Blurry Images
梁瑛平的博客
09-16 1238
神经辐射场（NeRF）由于其显著的合成质量，近年来在三维场景重建和新的视图合成方面得到了广泛的关注。然而，在野外捕捉场景时经常发生的由离焦或运动引起的图像模糊，严重降低了其重建质量。为了解决这个问题，本文提出了 Deblur-NeRF，这是第一种可以从模糊的输入中恢复清晰的 NeRF 的方法。为此作者采用了一种综合分析的方法，通过模拟模糊过程来重建模糊视图，从而使 NeRF 对模糊输入具有鲁棒性。
基于NeRF的三维内容生成
Nismilesucc的学习札记
07-04 1690
从图片中生成 三维内容【人工耗费时间、精力】 => 通过计算机辅助手段来自动生成图片：非常容易获得 => 反渲染 生成三维内容计算机图形学：如何去生成高质量的渲染图像 计算机视觉：给定图片 => 反渲染生成计算机图形学中所需要的三维内容【可以改变光照，插入物体等等】Triangle Mesh、Point Cloud、Occupancy field、Signed distance filed 不同形状表征可能会决定解决问题的难度【不同的优化方法】左边将材料和光照分开表征【理想情况，可以换光照，编辑材质，
NeRF论文阅读
weixin_51179742的博客
07-05 1571
NeRF 论文翻译
实时神经辐射场论文（SNeRG、instant-NGP、MERF）
ling2828ling的博客
07-03 1977
在不牺牲质量的情况下用更小的神经网络实现训练和渲染的加速。Instant NGP也需要去查询目标位置周边体素里的特征向量，但不同的是，为了快速检索和节约内存，Instant NGP用了哈希表来检索，目标位置的周边几个体素位置被送入了哈希函数得到哈希值，这些哈希值表示这些格点对应的特征向量在哈希表里的哪个位置。SNeRF从间接网格中得知采样位置后，按间接网格里储存的指针去找3D纹理地图上的对应位置，得到features和colors，做alphas混合后，经过小的MLP用兔子的速度获得最终的color。
基于Nerf的自动驾驶领域文章总结2
qq_53386557的博客
06-06 1063
我找的都是提升NeRF新视角渲染能力，然后应用于自动驾驶领域的文章，上述标黄的文章是属于这个领域的。①Crowd-Sourced NeRF：2024年，符合要求，但是代码未开源，且数据集好像是自采集的（老师提供连接里的文章）。×②City-NeRF：符合要求，但是代码未开源，且文章太久远了，2021年的。×③SRNeRF：非常符合要求，但是由于是2025年最新的文章，代码还未开源。×④PC-NeRF：2024年，符合要求，代码开源，复现难度可以接受，数据集为KITTI和MaiCity。√。
S-NeRF：为自动驾驶打造的神经辐射场技术
gitblog_00684的博客
09-13 934
S-NeRF：为自动驾驶打造的神经辐射场技术 项目介绍 S-NeRF（Street Neural Radiance Fields）是一个专为自动驾驶场景设计的高级神经辐射场（NeRF）系统。该项目由Ziyang Xie、Junge Zhang、Wenye Li、Feihu Zhang和Li Zhang等研究人员共同开发，并在ICLR 2023上发表。S-NeRF的主要目标是提升街道视图合成的真实感...
S-NeRF 项目使用教程
gitblog_00071的博客
09-13 1131
S-NeRF 项目使用教程 1. 项目介绍 S-NeRF（Street-view Neural Radiance Fields）是一个用于合成大型无界街道视图的鲁棒系统，主要用于自动驾驶场景。该项目利用神经辐射场（NeRFs）技术，旨在提高街道视图合成的真实感和准确性，并增强NeRFs在实际应用中的鲁棒性，如自动驾驶模拟、机器人和增强现实等领域。 S-NeRF的主要特点包括： 大规模街道视图合成...
【读论文】【速读】Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields
小白有颗大白梦的博客
12-04 1265
Mipnerf论文笔记
Semantic-NeRF: Semantic Neural Radiance Fields（Semantic-NeRF：语义神经辐射场）
朝花夕拾。
05-17 1247
摘要 语义标记与几何和辐射重建高度相关，因为具有相似形状和外观的场景实体更有可能来自相似的类。最近的隐式神经重建技术很有吸引力，因为它们不需要事先的训练数据，但同样的完全自监督方法对于语义来说是不可能的，因为标签是人类定义的属性。我们扩展神经辐射场（NeRF）来联合编码语义与外观和几何形状，以便使用少量特定于场景的就地注释来实现完整且准确的2D语义标签。 NeRF 内在的多视图一致性和平滑性通过使稀疏标签能够有效传播而有益于语义。当房间规模场景中标签稀疏或非常嘈杂时，我们展示了这种方法的好处。我们在各种
Point-NeRF: Point-based Neural Radiance Fields（Point-NeRF：基于点的神经辐射场）
朝花夕拾。
05-17 1275
摘要 NeRF [34] 等体积神经渲染方法可生成高质量的视图合成结果，但针对每个场景进行优化，导致重建时间过长。另一方面，深度多视图立体方法可以通过直接网络进行推理快速重建场景几何。 Point-NeRF 通过使用神经 3D 点云以及相关的神经特征来对辐射场进行建模，从而结合了这两种方法的优点。 Point-NeRF 可以通过在基于光线行进的渲染管道中聚合场景表面附近的神经点特征来高效渲染。此外，Point-NeRF可以通过预先训练的深度网络的直接推理来初始化，以产生神经点云；该点云可以进行微调，以超越
论文笔记：D-NeRF:Neural Radiance Fields for Dynamic Scenes
blueag1e的博客
02-07 1796
D-NeRF:Neural Radiance Fields for Dynamic Scenes
【2023.08.14】NeRF综述：NeRF-Neural Radiance Field in 3D Vision
FridaNN的博客
08-14 1007
在原有的NeRF中，为了将NeRF渲染结果与GT比较，所以确保渲染NeRF时的相机位姿和GT的位姿相同，因此需要从GT中获取相机位姿。值得注意的是，如果将神经网络的部分完全抛弃，则属于neural rendering models而不是NeRF。主要包含两个步骤，第一步correspondence search，寻找不同图像的点的联系，生成sene graph。使用生成的图像引导NeRF，问题在于如何控制主体不变、视角变化。通过训练或者预计算，将NeRF的MLP的结果储存到更易存取的数据结构。
【论文笔记 - NeRFs - NeurIPS2020】GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis
qq_43491212的博客
02-13 409
生成式NeRF；条件GAN；采用没有相机位姿的图像进行训练；
火爆科研圈的三维重建技术：Neural radiance fields (NeRF)
热门推荐
02-20 3万+
如果说最近两年最火的三维重建技术是什么，相信NeRF[1]是一个绝对绕不过去的名字。这项强到逆天的技术，一经提出，就被众多研究者所重视，并投入人力对该技术进行深入研究并改进。仅仅过了不到两年的时间，NeRF及其变种网络已经成为重建领域的主流方法。由此可见，NeRF技术的新颖性与实用性。今天，我们就来看一看NeRF是个啥，学习以下该方法到底强在哪里。 1. 简介 NeRF全称为Neural Radiance Fields(神经辐射场)，是一项利用多目图像重建三维场景的技术。该项目的作者来自于加州大学伯..
神经网络辐射场NeRF、实时NeRF Baking、有向距离场SDF、占用网络Occupancy、NeRF 自动驾驶
ZhengrongYue的博客
04-16 8806
神经网络辐射场NeRF、实时NeRF Baking、有向距离场SDF、占用网络Occupancy、NeRF 自动驾驶
Neural Radiance Fields (NeRFs) 神经辐射场模型2022总结
BellaLYW的博客
10-12 2916
NeRF 是 2020 年 ECCV 上获得最佳论文荣誉提名的工作，目前其影响力十分巨大。
【论文精读】NeRF —— 解读《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》
weixin_53215555的博客
09-14 3005
NeRF论文阅读和学习（不断补充中...）
论文阅读《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》
薛定谔的猫头咕咕咕
04-28 1332
论文地址：https://arxiv.org/abs/2003.08934 源码地址：https://github.com/yenchenlin/nerf-pytorch 背景知识 体渲染   体渲染假设了一个基本的辐射模型，如图所示：假设空间中进入人眼的一条射线上的每一点都辐射出一定的能量，那么最后人眼接收到的总能量为该视线上所有粒子辐射能量的累积；   体渲染可以简化为以下的模型：图中方格为一个成象平面，0为该成像对应的视角，ddd 空间中某个视角下视线中的所有粒子辐射出总能量最后在二维图像上展示为
以太联的自愈功能与看门狗机制解析
最新发布
suzhou_speeder的博客
12-15 1174
看门狗(Watchdog)是一种硬件或软件实现的定时器机制，其核心功能是监控系统或程序的运行状态，防止程序跑飞或陷入死循环。案例：车载以太网交换机通过硬件看门狗实时监测链路状态，若检测到链路中断(如3ms内未收到心跳包)，立即启用备用路径，确保刹车、转向等关键系统永不掉线。案例：某智能工厂的PLC(可编程逻辑控制器)采用软件看门狗，若主程序因干扰死机，看门狗机制自动重启PLC，恢复生产流程。三者协同工作，实现“设备-交换机-网络”三级自愈，显著提升网络可靠性、降低运维成本，并为企业数字化转型提供坚实基础。
Neural Radiance Fields Julia
03-09
### 实现 Neural Radiance Fields (NeRF) 的 Julia 版本 Neural Radiance Fields 是一种用于从多视角图像合成新视图的技术。该方法通过训练一个连续的场景函数来表示三维环境中的辐射度，从而能够渲染高质量的新视角图像。 在 Julia 中实现 NeRF 需要几个关键组件： 1. **数据准备** 数据集通常由一组不同角度拍摄的对象或场景的照片组成。这些照片需要经过预处理以便于后续模型训练[^1]。 2. **网络架构设计** 使用深度学习库 Flux 或 Knet 来构建一个多层感知器(MLP)，这个 MLP 将位置坐标作为输入并预测对应的颜色和体积密度值。为了提高效率，可以采用分层采样策略以及引入空间编码技术如 Positional Encoding[^2]。 3. **损失函数定义** 定义合适的损失函数对于优化至关重要。常见的做法是计算预测像素颜色与真实图片之间的均方误差(MSE)[^3]。 4. **渲染过程模拟** 渲染阶段涉及到沿着射线积分得到最终观察到的颜色。这一步骤可以通过数值积分完成，在实践中常用的方法有反向投影法等[^4]。 下面是一个简单的伪代码框架展示如何用 Julia 和 Flux 库搭建基本版 NeRF: ```julia using Flux, Statistics, Random struct NerfModel model::Chain end function positional_encoding(x, L=10) encoded = [] for i in 0:L-1 push!(encoded, sin.(2^(i)*π*x)) push!(encoded, cos.(2^(i)*π*x)) end vcat(encoded...) end # 初始化神经网络结构 nerf_model = Chain( Dense(63, 256, relu), Dense(256, 256, relu), Dense(256, 256, relu), Dense(256, 4) ) # 训练循环简化版本 for epoch in 1:num_epochs # 获取一批次的数据 batch_data = get_batch() # 前向传播 predictions = nerf_model(positional_encoding(batch_data["points"])) # 计算损失 loss_value = mean((predictions .- batch_data["colors"]) .^ 2) # 反向传播更新参数... end ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值