【mip-NeRF】使用一组二维图像渲染3D场景视频（mip-NeRF论文复现）

使用一组二维图像渲染3D场景视频（mip-NeRF论文复现）

【源码下载地址】

【更多技术内容将不断产出】

概述

NeRF（Neural Radiance Fields）是一种神经辐射场，用于将图像转换为3D场景表示。然而，在不同分辨率的训练或测试图像观察场景内容时，NeRF的渲染过程可能会产生过度模糊或伪影的图像。对于传统NeRF来说，使用多条光线对每个像素进行超采样的渲染方案是不实际的，因为渲染每条光线需要对MLP进行数百次查询。

本文提出的mip-NeRF模型，将NeRF扩展到连续值尺度上。通过向像素点投射一个锥形区域（而非光线）进行采样，mip-NeRF减少了伪影的产生，显著提高了NeRF对细节的表示能力，同时比NeRF快7%，仅为NeRF的一半大小。与NeRF相比，mip-NeRF在NeRF呈现的数据集上的平均误差率降低了17%，在多尺度变体数据集上降低了60%。此外，mip-NeRF还拥有与超采样NeRF相当的准确性，而速度快22倍。

原理介绍

传统NeRF的原理

NeRF使用一个连续的5D函数来表示场景，并使用少量的输入视图来优化这个函数以生成复杂场景的新视角。NeRF使用基于MLP的全连接神经网络来表示场景，输入为一个连续的5D坐标，包括空间位置(x,y,z)和观察视角(θ, φ)，输出为该空间位置的体密度σ和与视角相关的RGB颜色。通过沿着相机射线查询MLP并使用经典的体渲染技术将输出颜色和密度投影到图像中来生成新视图。

mip-NeRF的改进

1. 使用圆锥追踪代替光线追踪，从而显著改善了抗锯齿（伪影）效果。
2. 使用集成位置编码（IPE）特征代替传统的位置编码（PE）特征，实现了更高效的采样和尺度编码。
3. 通过单一的多尺度模型（而不是NeRF中的每个尺度单独的模型），使得mip-NeRF的准确性、效率和简单性都得到了提高。

模型介绍

Mip-NeRF是一种用于解决神经辐射场（NeRF）中降采样和抗锯齿问题的改进模型，模型的处理过程如下：

1. 对于场景中的每个像素，从相机的中心沿着像素中心的方向投射一个圆锥。
2. 计算每个采样间隔的集成位置编码（IPE）特征，作为多层感知机（MLP）的输入。
3. MLP输出密度和颜色，用于渲染场景。