weixin_59961223的博客

3D Gaussian Splatting最近真的是太热了，想看看重建出来是什么样子的，于是就参考网络上各位大神给的教程进行复现。我先在Ubuntu20.04系统上进行复现，环境配置安装成功，也可以进行训练，就是在编译可视化界面时一直cmake不动，显示的原因是FFmpeg出现了问题，在此期间我重新安装ffmpeg的各个版本，并且替换一些代码，还是cmake不起，在万般无语之下转到windows系统，没想到windows系统相对来说更容易复现。

【代码】Ubuntu20.04复现MVSDF（ICCV2021）：学习多视图表面重建的有符号距离场。

NeuS自制数据集流程（LLFF、DTU）

Recovering Fine Details for Neural Implicit Surface Reconstruction（恢复神经隐式表面重建的精细细节）D-NeuS。

SDFStudio 是一个用于神经隐式表面重建的统一模块化框架，建立在出色的 nerfstudio 项目之上。SDFStudio提供了三种主要隐式表面重建方法的统一实现：UniSurf、VolSDF 和 NeuS。SDFStudio 还支持各种场景表示，例如 MLP、Tri-plane 和 Multi-res。特征网格和多点采样策略，例如 UniSurf 中的表面引导采样和 NeuralReconW 中的体素表面引导采样。

在本项目中的requirements.txt文件中没有给出tensorboard的安装，但是在训练时需要用到tensorboard，因此conda环境中需要安装tensorboard。解决方法：打开Geo-Neus/confs/womask.conf，修改data_dir（按照自己数据集放置的位置进行修改）如果你的文件或者数据集出现这种情况说明将该项目设置成了git的一个仓库，但并没有将文件上传到git，所以才显示红色。将上述指令中的<case_name>改成对应的dtu数据集的场景就ok了。

NeRF，将神经隐式函数与体积渲染相结合，能够达到极佳的渲染效果。然而在场景几何体形状的表示上有所欠缺。于是，提出Volume Rendering of Neural Implicit Surfaces（VolSDF）

ps:主要是复现nerf曲面重建的应用，instant-nsr-pl和instant-ngp相似，都可以快速的进行训练，instant-nsr-pl借鉴了neus和instant-ngp，使表面重建更加的快速，得到的模型效果也十分不错。unisurf是nerf表面重建应用比较早的一篇文章，为了进一步研究神经隐式曲面重建也复现了一下，便于后续的学习。

NeuS 主要的关注点即是几何重建，往往能得到相比之前方法更优秀的代理几何结果，最大贡献就在于将体渲染和 SDF 有机结合，二者建立联系，共同优化。

注：本次复现仅仅运行了测试，我感觉point-nerf给的代码有些繁冗，不容易去读，而且在配置运行环境的过程中出现了很多问题，在运行训练的时候cuda出现了错误，但是在运行测试的时候可以运行，并且渲染出了图片、视频以及gif动图，效果还是可以的。本文就是以我复现point-nerf的测试为基础，从环境的配置以及代码的修改和最后的渲染所出现的一些坑做了一些记录，也希望有复现过point-nerf的大佬能够给一些指点。

nerfstudio详细安装过程，包括常见错误的分析以及解决方法。

注：本次复现的代码和配置环境的代码不一样，主要是我第一次在github上复现的那篇渲染不出视频，我也不晓得出现了啥子问题，有可能我没有训练完，训练了八个轮次就终止了（我看一篇综述论文上说mip-nerf训练只需要三个小时，我训练了十多个小时，感觉时间太长了），于是我另外找一个mip-nerf pytorch版的代码进行复现。可以看出这个mesh效果还是非常不错的，mip-nerf是继基线nerf后提出比较有意义的一次创新，使用锥跟踪代替标准NERF体绘制的光线跟踪。错误消息中提到了一个不期望的关键字参数。

本次仅仅记录一下自己复现instant-ngp的过程，如果里面的参考有冒犯到原博主请联系我删除，本人也是nerf的小白一枚，可以一起交流学习神经辐射场，希望大家在复现instant-ngp的时候少走一些坑，情况允许下可以去复现一下npg-pl和nerfStudio，最后希望大家一起进步。看到一些博主说葵司的npg_pl也不错，而且葵司是台湾人，在youtube上也有讲解的视频。渲染的效果还是可以的，相对于源码来说还是有点模糊，我一些参数也没有设置，直接就拉进来进行渲染，速度是非常快的。