- 博客(13)
- 问答 (2)
- 收藏
- 关注
原创 【3D Gaussian Splatting系列文章三】造雪球及抛雪球
论文:3D Gaussian Splatting for Real-Time Radiance Field Rendering。
2024-09-23 20:09:00
1149
原创 【3D Gaussian Splatting系列文章二】预备知识
此文记录个人学习过程,如有错误请与我私信联系。工欲善其事必先利其器,作为第一次踏入该领域的新人,博主刚开始阅读这篇论文十分困难(该还给老师的都还了)。因此,整理了一些预备知识,以便更好理解相关论文,如有补充,欢迎私信。其中,某些部分需要大量公式,本博客并未一一列举,且部分算法也并未详细展开,待后续有时间继续补充(由于时间有限,splatting以及CG相关知识只是做了简单理解,便于对我们论文立即。
2024-09-20 21:28:51
509
原创 【3D Gaussian Splatting系列文章一】
由于我的研究方向是3D-GS方面,但是没有接触过,所以先看了3D-GS之前的技术NeRF,算是一个入门了解。接下来会猛攻3D-GS方面,但是我不做渲染和重建,主做3D-GS感知。明天开始看论文,当然3D-GS这部分代码也会详细看,如果可以的话,希望出一个代码详解。
2024-09-13 21:17:06
162
原创 【NeRF系列文章四】后处理过程
得到模型的输出后,需要利用这些信息进行体渲染,得到一张新的图片,这个过程为了便于理解我们称为后处理过程,那么后处理过程包括:层次采样+体渲染。
2024-09-13 21:06:08
845
原创 【NeRF系列文章三】模型讲解
这个模型,第一次输出概率密度和颜色后,根据概率密度进行逆变换采样,再次采样128个粒子(还是对相同的射线,有点重要性采样的意思),这样第二次输入模型的采样点变为192个粒子。从论文中给出的模型示意图,我们可以看出物体的密度是与观测角度无关的,但是颜色是与其是有关的。最后,模型输出4D向量,再根据这些信息进行体渲染,就可以得到一张新的图片。NeRF整体模型通过全连接层进行构建的,单从模型角度来说并不复杂。
2024-09-13 20:00:06
196
原创 【NeRF系列文章二】预处理过程理解
不同视角的图片怎么输入到NeRF中的神经网络中,也即是图片怎么转换为论文中提到的5D向量,我们将这部分看为模型的预处理部分;其次,论文中还提到了低纬向量输入到模型中,细节信息会丢失,因此预处理部分还包括了将5D低纬信息扩展到高维信息,即位置编码。
2024-09-13 19:48:19
1709
原创 使用Xilinx的ZU5系列实现人脸识别加速(3)
目录1.AXI4 Stream1.1接口介绍1.2 TVAILD和TREADY的握手过程1.2.1TVALID先有效1.2.2TREADY先有效1.2.3同时有效2.VDMA学习2.1接口介绍2.1.1时钟以及复位接口2.2.2总线相关接口2.2.3同步信号2.2时序介绍2.2.1MM2S读2.2.2 2SMM写现在开始实现MIPI接口的摄像头采集模块以及视频回显模块。在这之前,需要学习一些相关知识。1.AXI4 Stream.
2022-05-18 16:18:54
847
原创 使用Xilinx的ZU5系列实现人脸识别加速(2)
1.系统构成系统由视频采集、中间算法处理过程、视频回显构成。摄像头采集视频通过预处理后经过VDMA缓存到外部存储器DDR3/DDR4,VDMA输出视频流流向显示器驱动进行实时显示。软核或者硬核控制卷积加速器(CA)从外部存储器DDR3/DDR4取出输入特征图片并进行推理。推理的结果经过软核或者二硬核处理流向video mixer,并输出到显示器。2.开发板选取ZU5开发板:AXU5EV-E摄像头:板载摄像头视频输出:DisplayPort视频输出接口DDR4后续先搞通
2022-05-16 14:08:43
1251
原创 2021-05-16
目录Tensorflow/Mxnet模型转ncnn1.Pb模型转ncnn1.1Pb转onnx1.2onnx进行简化1.3onnx转ncnn2.Mxnet转ncnnTensorflow/Mxnet模型转ncnn我采用的是先将模型转为onnx,再用onnxsim简化去除胶水op,再转ncnn。ps:这里的tf指的是1.x版本并不是2.x版本。关于tf2.x版本看这里:nihui大佬https://zhuanlan.zhihu.com/p/152535430nihui大佬文
2021-05-16 20:27:30
1400
1
原创 2021-05-12
vs2019中运行NCNN例程在之前配置好ncnn环境后,最近先跑了一下例程,熟悉了一下流程1.先copy一份code#include "cpu.h"#include "net.h"#include "gpu.h"#include "benchmark.h"#include "datareader.h"#include<vector>#include<stdio.h>#include<algorithm>#include<opencv
2021-05-12 18:38:21
220
空空如也
ARM中运行Session.run()显示非法指令
2021-05-12
网络选择mobilefacenet,损失函数选择arcface。
2021-03-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人