NeRF必读：Mip-NeRF总结与公式推导

原创 已于 2023-04-11 16:03:13 修改 · 5.8k 阅读 · 51 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习

于 2023-03-13 15:29:09 首次发布
MipNeRF针对NeRF在处理多尺度场景时的不足，提出积分位置编码（IPE）来改善近景模糊和远景锯齿问题。通过使用积分编码，MipNeRF能更好地描述空间信息并实现更精确的近景和远景重建，提高了三维重建的质量和效率。

前言

NeRF从2020年发展至今，仅仅三年时间，而Follow的工作已呈井喷之势，相信在不久的将来，NeRF会一举重塑三维重建这个业界，甚至重建我们的四维世界（开头先吹一波）。NeRF的发展时间虽短，有几篇工作却在我研究的领域开始呈现万精油趋势：
* PixelNeRF----泛化法宝
* MipNeRF----近远景重建
* NeRF in the wild----光线变换下的背景重建
* Neus----用NeRF重建Surface
* Instant-NGP----多尺度Hash编码实现高效渲染

Abstract

由于远景近景的分辨率不同，导致经典NeRF对于多尺度场景的表达存在明显瑕疵：NeRF对于近景的重建比较模糊而对于远景的重建出现锯齿。简单粗暴的策略是supersampling，但是费时费力。相较于NeRF使用的位置编码（PE）方式，Mip-NeRF提出了积分位置编码的方式（IPE）.这种编码方式可以多尺度地描述空间中的信息分布，make sense.

NeRF

Positional Encoding:

\gamma (x)=[\sin (x),\cos (x),...,\sin (2^{L-1}x),\cos (2^{L-1}x)]^T

MLP:

\forall t_k \in \mathbf{t}, [\tau_k,\mathbf{c}_k]=MLP(\gamma(\mathbf{r}(t_k);\Theta)

Final Predicted Color of the Pixel:

最低0.47元/天 解锁文章
Rick0xFFFFFF
关注
[NeRF论文阅读笔记] mip-nerf
weixin_42262385的博客
11-03 1495
NeRF只在相机位置固定、分辨率与训练图像一致的新视角生成上表现较好。当拉近、拉远时（在多分辨率下观察场景），图像会产生锯齿以及模糊。Mip-NeRF针对这样的混叠问题作出了改进
mipNeRF-pytorch版复现流程（更新中）
weixin_53765004的博客
04-04 1142
读readme看看安装的具体步骤。
【读论文】【速读】Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields
小白有颗大白梦的博客
12-04 1265
Mipnerf论文笔记
【论文速递】CVPR2021 - Mip-NeRF：抗锯齿神经辐射场的多尺度表示
wingkeung_m的博客
02-19 678
神经辐射场 (NeRF) 使用的渲染过程对每个像素使用一条光线的场景进行采样，因此当训练或测试图像以不同分辨率观察场景内容时，可能会产生过度模糊或混叠的渲染。通过每像素多条光线渲染来进行超级采样的直接解决方案对于 NeRF 来说是不切实际的，因为渲染每条光线需要查询多层感知器数百次。我们的解决方案，我们称之为“mip-NeRF”，将NeRF 扩展为以连续值的比例表示场景。通过有效地渲染抗锯齿圆锥体而不是射线，mip-NeRF 减少了令人反感的锯齿伪影并显着提高了 NeRF 表示精细细节的能力，同时。
8、Mip-NeRF
小白的博客
08-10 1016
mip-nerf
Mip-NeRF学习
qq_44708206的博客
11-26 1640
Mip-Nerf学习
NeRF、Mip-NeRF、Instant-NGP、NeRF++
最新发布
12-16
NeRF、Mip-NeRF、Instant-NGP、NeRF++ 是一系列与三维渲染、体渲染相关的技术，它们利用深度学习和计算机图形学的方法来创建和优化三维场景的渲染。 首先，NeRF（Neural Radiance Fields）是一种创新的三维表示方法...
Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields
ysh的博客
05-18 6071
论文标题：Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields (CVPR 2022) 建议预备知识：NeRF (BV1c34y1B7Hx) Mip-NeRF (BV1QL4y1L7C7) NeRF++ (BV1dS4y1P72T) 论文链接：https://arxiv.org/abs/2111.12077 Abstract 虽然神经辐射场(NeRF)在物体和小的有界空间区域上表现出令人印象深刻的视图合成结果，但是它们在“无界”场景
NeRF必读：Instant-NGP----RTX3090单卡就能玩转NeRF
i_head_no_back的博客
04-06 2057
如何对空间中的采样点x\mathbf{x}x进行位置编码（position encoding）从而使得NeRF能够对3D空间进行多尺度的精确表达是NeRF社区一直关注的问题。总体来说面临的一个进退两难问题是：要嘛大模型进行多轮采样得到高精度的渲染结果，要嘛模型小训得快得到一个粗糙的结果。所以问题来了，有没有一种~既要，又要，还要的方法可以实现训得快、单卡也玩得起、精度还高呢？啥？小镇做题家也能要自行车？
NeRF必读：NeuS--三维重建的milestone以及脑补的作者脑回路
i_head_no_back的博客
04-18 7056
基于二维图片的三维重建是计算机视觉中最核心的任务之一，传统方法的发展目前已经收敛于某种上限。从视觉中提取出物体的三维信息并将其直接用于三维重建是一项富有挑战但非常有实际意义的工作，得益于NeRF惊人的新视角合成效果，作者在NeRF的基础上提出了重建物体Surface的模型并在数据集上取得了理想的效果。NeuS打开了三维重建新方法的大门，此后有很多重量级工作都在NeuS的基础上展开，相信Follow的工作还会源源不断。
NeRF知识点：Mip-NeRF
flow_specter的博客
07-24 730
rtotdrtotd，在这条射线上会进行采样，进而形成一系列intervals，有：。而在mip-nerf中， 对于每一个intervaliii，都会对其计算对应截锥体（半径由射线的焦距与像素大小共同决定）的均值与协方差：。最后，再通过integrated positional encoding进行特征化：这些特征将被喂入NeRF网络的MLP中：通过MLP输出的体密度与颜色，就可以照常进行体渲染工作：关于采样，首先在给定near和far平面的情况下，均匀采样为tc。
NeRF公式推导-
arthurhope的博客
09-12 306
神经辐射场采用简单的体渲染，利用可见性概率概念使得射线三角交点问题可微分在计算机视觉中，经常需要判断一条射线是否与“三角形”相交。射线的起点o 是相机镜头O 在像平面的2D 点，射线的另外一点p 是“世界坐标系中的某个3D 点P 通过投影后在像平面上的2D 点”。“三角形”是3D 物体在像平面上“某个需求渲染表面的三角形小区域”。如果p 在三角形上，意味着相机可以看见3D 物体上的点P，该三角形需要被渲染。
Mip-NeRF：抗混叠的多尺度神经辐射场ICCV2021
热门推荐
白景屹的博客
06-22 1万+
数据采集时，如果采样频率不满足奈奎斯特采样定理，可能会导致采样后的信号存在混叠。当采样频率设置不合理时，即采样频率低于2倍的信号频率时，会导致原本的高频信号被采样成低频信号。如下图所示，红色信号是原始的高频信号，但是由于采样频率不满足采样定理的要求，导致实际采样点如图中蓝色实心点所示，将这些蓝色实际采样点连成曲线，可以明显地看出这是一个低频信号。 对连续信号进行等时间采样时，如果采样频率不满足采样定理，采样后的信号频率就会发生混叠，也就是高频信号被混叠成了低频信号。对于图像，图像的高频信息即灰度变化陡峭的
NERF公式推导与理解
zfkdsghnb的博客
07-02 349
公式推导
【论文阅读笔记】Mip-Nerf
weixin_62636846的博客
10-27 1031
采样频率不足时（小于奈奎斯特采样频率）会导致高频信号被识别为低频信号，产生失真或者伪影Mip mapping：为每个纹理生成一系列不同分辨率的图像，通常称为mipmap级别。最高分辨率的图像作为基准，后续的级别则逐渐减小，形成一个从高到低的纹理金字塔。（图中高频的红线因为采样频率过低被采样成了低频的蓝线）
【论文精读】NeRF中的数学公式推导
YuhsiHu的博客
04-24 6992
这篇文章用于记录NeRF论文中数学公式的推导过程。
Mip-NeRF翻译
ysh的博客
04-27 5655
目录 摘要 1. Introduction 3、Method 3.1、Cone Tracing 锥形跟踪and Positional Encoding​​​​​​​ 3.2、Architecture 5.结论 Mip-NeRF论文阅读笔记_Xuanqing_C的博客-优快云博客 Mip-NeR: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields 摘要 神经辐射场(NeRF)使用的渲染程.
NeRF论文讲解以及公式推导
m0_53955985的博客
01-31 1457
对论文结构进行梳理以及重要公式的推导
NeRF 其二：Mip-NeRF
泠山的博客
01-12 2489
相比于 NeRF，Mip-NeRF 主要是在视觉上的改进。混叠会造成视觉质量的下降，将抗混叠应用到 NeRF 里，就生成了 Mip-NeRF。至于什么是混叠，让我们接着看看。
Re：NeRF - 压缩EVG-NeRF，兼顾速度与内存效率
总结来说，"压缩显式体素网格表示：快速NeRF"的工作是对NeRF技术的一次重要扩展，通过优化内存管理，使得高效、快速的3D重建能够在资源有限的环境中得以实现，进一步推动了该领域的实用化进程。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值