- 博客(97)
- 收藏
- 关注
RSS订阅原创 NeuRAD复现
示例（注意正确的路径应该是outputs/unnamed/neurad/2025-05-24_172136/config.yml，因为Neurad训练模型的时候最后是在outputs下直接输出了结果，文件名字就是unnamed，下述的路径是我为了区分数据集自己创建的，如果直接运行下述命令，会显示找不到检查点文件，因为config.yml里面记录的检查点路径是NeuRAD自己生成的，我后面自己设定的肯定找不到啦）cuda-toolkit是构建tiny-cuda-nn所必需的。
2025-08-30 15:18:14
854
1
原创 NeuRAD训练速度快的原因
另外NeuRAD并不是对一张图像所有像素发出的光线进行采样，原来的策略是一张HxW的图像，每个像素发出光线采样N个点，那么就意味着HxWxN个点需要经过前向神经网络计算，而现在NeuRAD只需要对1/4的像素发出光线，进行采样，然后进行1/4Hx1/4WxN前向计算，渲染出来一张低分辨率的图像，最后在采用CNN进行上采样，恢复高分辨率的渲染图像，这就以为着提升了16倍渲染速度的同时，保证了渲染质量，并且CNN 结合了深层特征表达，能重建几何一致、纹理自然的图像。，就能编码所有动态物体。
2025-08-30 15:11:04
312
原创 NeuRAD：自动驾驶的神经渲染
Nerf：一种能从不同角度合成图像的技术，已经在自动驾驶领域受到关注。可以用于：在虚拟环境中测试自动驾驶系统（闭环模拟）；增强训练数据（数据增强）。现有方法的问题：训练太慢；需要很多语义标注；泛化能力差；因此难以大规模应用在自动驾驶场景中。NeuRAD：专为自动驾驶数据设计的新方法。特点有网络结构简单；同时模拟相机和激光雷达的特性（如滚动快门、光束发散、丢失点云等）；可直接应用于多个数据集，并在在5个主流自动驾驶数据集上都取得了最先进的效果。
2025-08-30 15:09:35
1036
原创 SUDS复现
所以你现在需要做的是：#先卸载当前版本#重新 clone 正确分支，并安装# Clone 带有 SequentialGrid 的 SUDS 专用分支# 指定你的 GPU 架构（A100 是 80）# 构建 & 安装然后运行以下代码验证是否包含。
2025-08-30 14:56:19
898
原创 SUDS：可扩展的城市动态场景（论文阅读）
DINO（）是一种自监督的视觉Transformer（ViT）模型，由 Facebook AI 提出。它的特点是无需任何人工标签，就能从图像中学习有语义的特征表示。学到的特征可以很好地区分物体类别、边界、形状等，和人标注的语义结果类似。光流是一种计算图像中像素随时间移动方向和速度的方法。它表示：图像中某一点在两个连续帧之间的“位移矢量”。3D 场景建模：就是用计算机把一个真实场景还原成一个静止的三维模型。比如你扫描一栋建筑，建出来的是房子“在某一时刻”的三维样子。
2025-08-30 14:53:12
900
原创 自动驾驶大场景渲染（NeRF）相关代码链接
https://github.com/zhanxinrui/HDNhttps://aimotive.com/aisim-neural-reconstruction-and-renderinghttps://jaehoon-daddy.tistory.com/122https://arxiv.org/abs/2311.15260https://github.com/georghess/neurad-studiohttps://research.zenseact.com/publications/ne
2025-08-30 14:45:43
280
原创 基于Nerf的自动驾驶领域文章总结
是类似于SUDS的框架，该项目通过集成神经辐射场（NeRF）和三维高斯点渲染（3D Gaussian Splatting）等技术，自动从实车采集的数据（如RGB图像、LiDAR点云、GNSS轨迹）中重建静态环境。Nerf-KBS是2025年的文章，它在KITII_MOT06序列上的精度（27.19）比NeuRAD（27.00）好，比NeuRAD2x（27.91）差，Nerf-KBS项目的代码挺简洁美观的，但是在github上没有详细说明复现步骤。（不仅有新视图合成，还有重建）
2025-08-30 14:45:06
861
原创 基于Nerf的自动驾驶领域研究
我找的都是提升NeRF新视角渲染能力，然后应用于自动驾驶领域的文章，上述标黄的文章是属于这个领域的。①Crowd-Sourced NeRF：2024年，符合要求，但是代码未开源，且数据集好像是自采集的（老师提供连接里的文章）。×②City-NeRF：符合要求，但是代码未开源，且文章太久远了，2021年的。×③SRNeRF：非常符合要求，但是由于是2025年最新的文章，代码还未开源。×④PC-NeRF：2024年，符合要求，代码开源，复现难度可以接受，数据集为KITTI和MaiCity。√。
2025-08-30 14:37:29
904
原创 Neuralangelo复现
Neuralangelo提出的第一个创新数值梯度帮助全局表面都得到反向传播的优化，使得全局表面都变得比较光滑（DTU的63号场景的苹果没有那么凹陷，且表面更加平整光滑），第二个创新是通过对数值梯度的参数ϵ和哈希网格的分辨率进行渐进的优化，为的都是先识别出物体的整体形态（能够重建出植物枝干），然后在逐步细化，恢复出物体详细的纹理特征（N3底部枝干也能重建出来的原因），这两个创新极大的帮助了神经网络更好的识别物体表面的几何形态，进而提高重建的几何质量，使得N3的植物枝干能被完整的重建出来。
2025-06-10 13:01:11
1287
原创 MVSNet代码详解
导入软件包。import os......#自定义模块#定义了一个常量DEFAULT_PADDING，其值为SAME，SAME是深度学习中常用的填充方法，特别是在卷积神经网络中，它用于在输入图像边缘周围添加适当的零值，使得输入的特征图和输出的特征图大小一样。定义函数layer，该函数用于为网络层创建统一的接口，以便构建组合式的网络结构。里面还定义了一个内置函数layer_decorated，是函数layer的真正执行体，链式调用时返回自身。import os......#自定义模块。
2025-06-10 13:01:02
1221
原创 MVSNet点云评估指标
上图是我自己实操评估的第23组点云的评估结果列表，标红的是本次实操精度高于论文列表的精度。但其实没有可比性，因为我这里只对一组点云进行了评估，而论文是对22组点云评估之后取的均值，只做参考。
2025-06-10 13:00:50
935
原创 Sora论文阅读及实验复现
2024年2月16日，OpenAI发布了“文生视频”的大模型工具Sora，它可以利用自然语言描述，生成视频。AI视频的高度一下子被Sora拉高了，Runway Pika等文生视频工具，都还在突破几秒内的连贯性，而Sora已经可以直接生成长达60s的一镜到底视频，要知道目前Sora还没有正式发布，就已经能达到这个效果。Sora有别于上图AI视频模型的优势在于，既能准确呈现细节，又能理解物体在物理世界中的存在，并生成具有丰富情感的角色，甚至该模型还可以根据提示、静止图像甚至填补现有视频中的缺失帧来生成视频。
2025-06-10 13:00:36
1358
1
原创 Nerf论文进一步阅读
论文摘要中表示nerf是值通过使用稀疏的输入视图优化底层的的连续辐射体积场函数，实现复杂场景的新视角合成。Nerf使用全连接深度神经网络(MLP)表示一个场景，也就是将三维信息保存在神经网络中，也叫做隐式的神经网络。全连接神经网络是MLP（多层感知机）的一种，也就是在吴恩达深度学习课程中最初学习到的标准的神经网络，包括输入层、隐藏层、输出层，计算过程包括前向传播、计算损失函数、反向传播更新权重参数使得最小化损失函数，如下图：NeRF隐式表达所需的唯一输入是一组已知相机位姿的图像。
2025-06-10 13:00:26
965
原创 吴恩达（超参数的调整、Batch 归一化和程序框架）
到目前位置我们所学习到的超参数可以归结为上图：学习率α、使用momentum梯度下降时的参数β、使用Adam梯度下降时的参数β1、β2、ε、神经网络的层数、每一层的神经单元数、学习率衰减、mini-batch梯度下降训练子集的大小。这些超参数的重要性是不同的，其中最重要的超参数是学习率α，其次比较重要的是使用momentum梯度下降时的参数β（一般设置为0.9）、每一层的神经单元数、mini-batch梯度下降训练子集的大小（一般设置为2的指数，一般为64到512），没有那么重要的是使用Adam梯度下降时的
2025-06-10 13:00:15
434
原创 吴恩达（结构化机器学习项目(1)）
构建机器学习项目》这门课程就是学习机器学习策略，从而能够高效的优化机器学习系统。所谓的机器学习策略可以解释为上图，我们正在构建一个猫类分类器，但是其效果不是很好，那么我们就想到一些优化该分类器的方法，比如增加更多的数据，增加数据的多样性（更多猫的姿势或者多样性的反例图片），使得梯度下降优化器训练得更久，使用另一个完全不同的优化器（如Adam），一个更大或者更小的网络，使用Dropout或者L2正则化，改变神经网络架构（修改激活函数或者改变隐藏层单元数量）。
2025-06-10 13:00:04
940
原创 吴恩达（基于Tensorflow框架的多分类编程作业）
在此之前，一直使用 numpy 构建神经网络。现在，将学习一个深度学习框架，能够更轻松地构建神经网络。TensorFlow、PaddlePaddle、Torch、Caffe、Keras 等机器学习框架可以大大加快的机器学习开发速度。所有这些框架都有大量的文档，可以随意阅读。在本作业中，将学习在 TensorFlow 中执行以下操作：初始化变量启动自己的会话训练算法实现神经网络编程框架不仅能缩短编码时间，有时还能进行优化，从而加快代码速度。
2025-06-09 13:15:43
660
原创 图像学(games101，前六节内容)
电子游戏画面电影特效动画家具、车型设计可视化虚拟现实（VR）数字插图模拟 （仿真）图形用户接口（Linux、Windows）字体设计上图是向量的一个简介。一般用一个字母上面加一个箭头或者是加粗的字母来表示一个向量，又或者是用两个点相减来表示一个向量。决定向量的是它的长度和方向，和它的初始位置无关，因为一个向量平移之后还是这个向量，方向和长度都没有改变。上图就是用来求向量的长度和方向的。首先是长度，只要给向量加上了||||的符号，就是求向量的模，也就是求向量的长度。
2025-06-09 13:15:25
1115
原创 图像学（games101，作业0、1）
•逐个元素地构建模型变换矩阵并返回该矩阵。在此函数中，你只需要实现三维中绕 z 轴旋转的变换矩阵，而不用处理平移与缩放。•使用给定的参数逐个元素地构建透视投影矩阵并返回该矩阵。•自行补充你所需的其他操作。当在上述函数中正确地构建了模型与投影矩阵，光栅化器会创建一个窗口显示出线框三角形。由于光栅化器是逐帧渲染与绘制的，所以你可以使用A和D键去将该三角形绕 z 轴旋转。当你按下Esc键时，窗口会关闭且程序终止。另外，也可以从命令行中运行该程序。
2025-06-09 13:15:05
1400
原创 Neus：Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction（NeuS：通过体渲染学
Nerf是对于密度和颜色的联合优化，因此最终的新视角合成任务完成得很不错，但是它重建出来的物体不准确和不光滑，有坑坑洼洼的现象，那么Neus和Volsdf其实是想解决这个问题（但是Volsdf还解决了一个采样不精确的问题）。
2025-06-09 13:14:54
1042
原创 Neus复现（植物数据集）
出现该错误的原因就是原本的DTU数据集是包括掩码图片的，因此是进行的有掩码监督的训练，但是我们自制的Neus数据集是没有掩码图片的，只能进行无掩码监督的训练，因此运行无掩码监督的命令，但是数据集处理文件dataset.py，默认我们的数据集是有掩码的，因此要对dataset.py进行修改，并对运行文件exp_runner.py进行一定的修改。值得注意的是自己制作的植物数据集无掩码，因此在训练的时候，要使用无掩码的命令进行训练，其中在NeuS源码中的dataset.py文件中要进行修改。
2025-06-09 13:13:36
1162
2
原创 Bow（词袋模型）实验——对文档进行向量化
词袋模型（Bag of Words，简称BoW）是自然语言处理和信息检索中的一种常用文本表示方法。它将文本表示为一个词的集合，忽略词语的顺序和语法结构，只关注词语的出现频率。
2025-06-09 13:13:00
552
原创 三维重建基础与极几何
本章节一共讲解三个内容：第一个内容是三维重建基础，也就是通过两张视图进行场景重构，上一节讲解的是单视图重构，那么相对于单视图重构，基于两张视图的场景重构更适用于一般的情况，因为单视图重构需要很多场景几何结构的先验信息；第二个内容是极几何和基础矩阵，这个内容主要用于解决三维重建基础中遇到的问题，极几何讲的就是三维空间中同一物体的同一个点在两个不同视角的摄影机下成像点的约束关系，那么基础矩阵就是极几何的表达式；第三个内容就是基础矩阵的估计，也就是如何根据已知的信息将基础矩阵求得，从而获得两个成像点的约束关系。
2025-06-09 13:12:46
960
原创 基础矩阵和单应矩阵估计实验
代码的执行逻辑就是：①定义两个类FeatureProcess和PhotoExifInfo，用于提取图像的sift特征点和获取图像文件的EXIF信息。②定义函数build_img_info，用于创建类FeatureProcess和PhotoExifInfo的实例对象，调用两个类中定义的方法获取指定图像路径img_root下图像的sift特征点以及EXIF信息，该函数返回的imgs存储着图像的numpy数组，feats存储着sift特征点，K存储着利用EXIF信息计算得来的摄像机的内参矩阵。
2025-06-09 13:12:26
702
原创 NerfStudio复现
Nerfstudio是神经辐射场（Nerf）开发的模块化框架。神经辐射场（Nerf）是一个快速发展的研究领域，在计算机视觉、图形、机器人等领域有着广泛的应用。为了简化Nerf研究的开发和部署，提出了模块化的Pytorch框架Nerfstudio。Nerfstudio框架包括用于实现基于Nerf的方法即插即用组件，这使得研究人员和从业者可以轻松的将Nerf纳入其项目。此外，模块化设计支持广泛的实时可泛化工具、用于导入野外数据的流线化管道，以及用于导出为视频、点云和网格表示的工具。
2025-06-09 13:12:13
1182
原创 SDFstudio复现
SDFStudio 是一个表面重建的统一模块化框架，用于神经隐式表面重建，建立在令人敬畏的 nerfstudio 项目之上。SDFStudio提供了三种主要隐式表面重建方法的统一实现：UniSurf、VolSDF 和 NeuS。SDFStudio 还支持各种场景表示，例如 MLP、三平面和多分辨率、特征网格和多点采样策略，例如 UniSurf 中的表面引导采样和 NeuralReconW 中的体素表面引导采样。
2025-06-09 13:11:55
1157
原创 3D Gaussian Splatting for Real-Time Radiance Field Rendering
nx、ny、nz是法向信息，用来表示不同光照角度点的颜色不同，这里象征性的放了进来，因为在代码中并没有体现它的应用，并且一直都是默认值0；首先第一张图就是通过colmap获得的稀疏点云，然后通过训练得到了第二张图的3D高斯椭球们的中心点，但是不知道这些椭球的形状大小和旋转方向，如果将旋转方向和形状都加进去的话就可以得到第三张图，从第三张图上可以看出场景是由不同形状大小和旋转方向的椭球组成的，但是由于缺少不透明度的信息，看起来还是不对劲，因此再加入不透明度的信息就可以得到渲染的画面，像真实拍摄的图片一样。
2025-06-09 13:11:26
1090
原创 Autodl可视化界面实现步骤
第二次的密码别输入，直接选择 n，然后回车。运行如下命令，在6006端口启动VNC服务端（这一步可能涉及vnc密码配置（注意不是实例的账户密码，自己随便设置一个简单好记的密码）。下述第一行是autodl提供的指令，但是现在要使用VNC，因此要将整理为第二行的形式。然后需要保持这个autodl提供的ssh工具是开启状态，关闭后会杀掉进程，导致VNC Viewer登陆失败。然后重启服务器后利用autodl提供的ssh工具先建立连接（和上面的步骤一样）。可能不会直接出现可视化的界面，而是黑屏。
2025-06-09 13:11:01
2477
1
原创 MVSNerf：快速可泛化的多视图立体视觉的辐射场重建
输入：输入和MVSnet一样是三张图片，一张参考图，两张源图，可以通过快速网络推理仅从三个附近的输入视图重建辐射场。可泛化：原始Nerf是一个场景对应一个神经网络模型，MVSNerf是训练的一个可泛化的神经网络模型，也就是训练出来的一个场景的神经网络模型可以应用到新场景中。MVSNerf是基于DTU数据集进行训练的，然后又用了三个完全不同场景的数据集对训练出来的MVSNerf模型进行测试，结果显示MVSNerf具有很好的泛化能力，并且MVSNerf只需要3张输入图像就可以生成逼真的视图合成结果。
2025-06-09 13:10:19
825
原创 Neus损失曲线，准确率曲线
我进行实操时，遇到一个困难，因为Autodl是远程服务器，在远程服务器的终端上通过命令启动 TensorBoard是无法通过本机的浏览器查看到TensorBoard 的界面。通过这些记录，可以在训练过程中使用TensorBoard来实时查看损失曲线和PSNR曲线，从而监控模型的训练情况，那么第一步中博客的方法就可以不参考了，因为如果在训练代码中加入代码，意味着需要重新训练，然后输出损失值等数据，而TensorBoard可以直接从之前训练的结果中取数据直接绘制曲线图，就不用重新训练了。
2025-06-08 17:04:54
1033
原创 kilonerf
①MLP：使用数千个小型的MLP去代替Nerf中的单个大型MLP，小型MLP复杂性低，推理过程计算量小，且每个小型MLP（仅 4 个隐藏层且每层 32 个隐藏单元的小型 MLP）只负责场景中较小的部分，在保证重建质量的同时，速度可以提升到2500倍以上，甚至可以在某些情况下达到优于原始方法的效果。在加速的同时，Neuralangelo 仍可保持其在重建高质量 3D 表面方面的优势，因为 KiloNerf 的加速策略并不一定会牺牲视觉质量，通过合理的调整和优化，两者的结合有望在速度和质量之间达到较好的平衡。
2025-06-08 17:04:32
257
原创 Nerf体渲染和Neus提取网格原理
那么Marching cubes算法的基本思想就是根据每个小立方体各个顶点的体素值，计算这个立方体的三角形平面，进而用这个三角形平面表示我们3D物体的表面，但是如果一个立方体8个顶点的体素值都为1，也就是完全位于物体外，那么这个立方体是没有三角平面的，因为根本没有经过物体，同样如果8个体素值都为0，也就是完全位于物体内，那么这个立方体也是没有三角平面的，因此Marching cubes算法的目的是计算一些点位于物体表面外，其余点在物体表面内的立方体的三角平面。其中C代表的是颜色；tn和tf代表采样的范围；
2025-06-08 17:04:08
1164
原创 Neus代码框架
Neus首先向第一个MLP输入采样点的坐标及其位置编码之后不直接输出密度值，而是先输出sdf值，然后利用sigmoid的导数对sdf值做处理得到密度值，向第二个MLP中输入摄像机方向及其位置编码后得到采样点的颜色，然后用重新定义的权重函数w(t)=T(t)ρ(t)和新的密度值来得到新的权重值，从而构成新的体渲染积分公式，然后在对积分公式进行离散化和损失函数的计算就基本上完成了Neus的整体操作。Neus的创新就是针对Nerf密度预测不准确，进而导致网格提取不精确进行的改进。
2025-06-08 17:03:24
1011
原创 神经体渲染算法
tn和tf代表采样的范围，因为t本身的范围是0~+∞，不可能取无穷远的采样点，而是有范围的；T(t)为累计透射率（透明率），其公式如上图，有一个积分值，其积分区间代表的是光心点（起始点）到当前采样点，其中的s代表的就是t的意思，只不过范围变了，r(s)也是也是r(t)的意思，只不过s只能在光心点（起始点）到当前采样点中间取，σ(r(s))就是光心点（起始点）到当前采样点中某个点的密度值，那么积分值就代表光心点（起始点）到当前采样点的每个点密度值的累积和，T(t)的最终值就等于这个积分值的负数作为e的指数。
2025-06-08 17:03:05
522
原创 SIFT特征提取实验
从实验结果明显可以看出，Harris的匹配点对数远远多于SIFT匹配点对数，但是精确度却不是很高，出现较多匹配错误的情况，但是可以发现在SIFT的特征匹配中，匹配的关键点很少，但是准确率非常高，关键点少的原因之音可能是最后的阈值设置过高，符合条件的关键点比较少。可以看到，拍的两张图片分别是左右半边，图书馆是对称结构，Harris出现匹配错位的情况非常多，但是在SIFT匹配中几乎没有出现错误的情况。可以看出，在多角点的复杂建筑图像中，SIFT的匹配性能要高于Harris。
2025-06-08 17:02:22
1209
原创 Volume Rendering of Neural Implicit Surfaces（神经隐式曲面的体渲染）
由上面的表和图可以发现VolSDF方法与IDR方法不相上下，并且在重建精度方面优于NeRF和COLMAP，渲染质量与NeRF在同一水平。尽管VolSDF相比NeRF能够提高重建质量，但是VolSDF还是存在不足。如上图所示，第一，在不可见的区域无法重建较好的几何形状，如(a)图天使头部和(b)图雪人的背面。第二，在相同材质且无纹理的区域难以准确重建，如(c)图中白色背景桌面。%5Cdelta。
2025-06-08 17:01:49
958
原创 SIFT特征
补偿的拉普拉斯多尺度检测很好，就是速度太慢了。而sift多尺度检测不仅效果和补偿的拉普拉斯一样好，而且速度快很多，它的最大改进就是进行了提效，那么它是如何进行提效的？有以下两点说明。第一是因为sift构建的DOG模板的卷积速度就比拉普拉斯构建模板的卷积速度要快。
2025-06-08 17:01:08
1114
原创 尺度不变区域
上图是前面学过的边缘提取部分，其中首先对高斯滤波器就行求导得到高斯一阶偏导滤波器dg/dx，然后利用高斯一阶偏导滤波器对图片进行处理，这个过程中即提取了边缘，也进行了去噪，上图中最下面的曲线顶点部分就对应这个图像的边缘部分。这几章一直在围绕高斯讲东西，最开始是利用高斯滤波器进行去噪，然后是利用高斯一阶偏导滤波器提取边缘，然后又是高斯二阶偏导滤波器（拉普拉斯滤波器），它的主要功能不是用来提取边缘，而是进行多尺度选择（针对于不同的信号选择不同尺度的高斯二阶偏导模板，也就是选择。
2025-06-08 17:00:53
350
原创 Volsdf（神经隐式表面的体积渲染）在Autodl上的复现
VolSDF一种用于隐式神经表面的体积渲染框架，允许从一组稀疏的输入图像中学习高保真几何。NeRF，将神经隐式函数与体积渲染相结合，能够达到极佳的渲染效果。然而在场景几何体形状的表示上有所欠缺。于是，提出Volume Rendering of Neural Implicit Surfaces（VolSDF）：神经隐式曲面的体渲染。是一个神经隐式表面体积渲染框架，将体积密度建模为几何形状的函数来实现表面重建。
2025-06-08 16:58:47
1145
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人