2024年了CV还有什么可以卷的吗?

作者 | 清风似少年  编辑 | 汽车人

原文链接:https://www.zhihu.com/question/646965266/answer/3461801393

点击下方卡片,关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心全栈算法技术交流群

本文只做学术分享,如有侵权,联系删文

不知道啊,我已经以身入局了

我最近就在研究3d gaussian splatting,看相关的论文,复现代码

一、基本介绍

我是去年刚入学的研究生,我们实验室、有16张显卡,主攻方向就是各种图像,然后三维重建这个方向是我一个学长带我入门的,他的毕业论文方向就是三维重建,我是从NeRF开始对三维重建感兴趣的,所以我就一路看论文、复现论文,从NeRF、mip-NeRF、mip-NeRF 360,到现在的3D Gaussian Splatting、mip-3D Gaussian Splatting等等

e56d0684dda315b8d6a1254e3e96e3c4.png
学习资料整理
c86132fe57ae2e10380d52d6cfde5474.png
vscode代码复现

展示一下我做的一些工作,其中包括渲染结果、导入虚拟引擎、编辑3DGS(去除伪云)和最新论文介绍,并且我会不断更新我的学习经历:

www.zhihu.com/question/626506306/answer/3454762596?utm_psn=1761672668514881536

另外一篇回答详细讲解了我的数据获取过程和技巧:

www.zhihu.com/question/632773209/answer/3463714670?utm_psn=1762176178776264704

二、个人观点

我觉得这个技术真是个好技术,他仅用消费级显卡、较短的时间成本,能得到非常好的重建效果。因此,我认为未来会在各行各业,产生革命性影响,尤其是无人驾驶、VR、医学成像等行业

b32fad29f592d88a2e6d177db1cd34e7.png
3dgs导入虚幻引擎

然后,就我自身了解,这个方向确实会非常卷,在NeRF上尝试的各类方法,感觉都会在3DGS上尝试一遍,基本上和萝卜坑一样,所以确实是研究越快越好,很有可能自己刚刚入门,发现人家都发表完了。

不过我觉得这个技术本身还是很前沿的,做一些可编辑性研究或者实际应用性研究,也是能水一篇论文的,我感觉我可能就是这个方向,因为我就是对这个技术的应用很感兴趣。

比如,可以将Sora和3DGS结合、3DGS与各种实际行业的结合、又或者编辑3DGS模型、转Mesh等等

af4f69e3bddd061b1f3f24e5168ca93b.png

三、三维重建入门

如果初学者刚入门三维重建,可以先从摄像几何开始,了解基本的成像原理,相机内参外参;然后搞懂三维重建的基本原理、相机位姿的提取原理

再去精读NeRF那篇论文(必读),理解神经辐射场,显式、隐式以及3DGS三种辐射场的区别;再去分步理解位置编码、体渲染,采样方式等;然后自己复现NeRF(构建自己的数据集),再将代码和公式对照着看

4ffc69605567607bd5a8d78fe68054cd.png
NeRF

简而言之,不要一上来的就啃论文,会很晦涩难懂,但是当你把它分成了各种模块去学习,再回过头看,各种公式、方法其实就懂了。

NeRF复现看这篇完全够用:

zhuanlan.zhihu.com/p/576416530?utm_psn=1761845070041382912

我是一步一步按照这位大佬学习,他基本上把所有可能遇到的错误都考虑到了,而且非常热心,帮我解决了数据集问题。

四、3DGS学习

我认为知乎上的解读论文比较好的是这一篇:

www.zhihu.com/question/626506306/answer/3375816824?utm_psn=1761848533185843200

然后代码复现我认为真的不算很难,我认为最难的可能是在自己服务器部署COLMAP,这个手动编译会遇到无数问题。我花了四天才搞定,解决所有基础问题前提,最后一步一定要把anaconda3名字改了,才能编译成功。

五、未来展望

我也是刚入门三维重建,各位大佬觉得哪里有问题的一定要指出,及时改正。

投稿作者为『自动驾驶之心知识星球』特邀嘉宾,欢迎加入交流!

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合多传感器标定多传感器融合多模态3D目标检测车道线检测轨迹预测在线高精地图世界模型点云3D目标检测目标跟踪Occupancy、cuda与TensorRT模型部署大模型与自动驾驶Nerf语义分割自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频(扫码即可学习

06c8fef7109086d2fdbd34b09f23a2a1.png

网页端官网:www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业,近3000人的交流社区,已得到大多数自动驾驶公司的认可!涉及30+自动驾驶技术栈学习路线,从0到一带你入门自动驾驶感知2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪)、自动驾驶定位建图SLAM、高精地图、局部在线地图)、自动驾驶规划控制/轨迹预测等领域技术方案大模型、端到端等,更有行业动态和岗位发布!欢迎扫描下方二维码,加入自动驾驶之心知识星球,这是一个真正有干货的地方,与领域大佬交流入门、学习、工作、跳槽上的各类难题,日常分享论文+代码+视频

85cfe8d5903056e2e9b0a3192bc9c8a0.png

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区,聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向,目前近60+技术交流群,欢迎加入!

自动驾驶感知:目标检测、语义分割、BEV感知、毫米波雷达视觉融合、激光视觉融合、车道线检测、目标跟踪、Occupancy、深度估计、transformer、大模型、在线地图、点云处理、模型部署、CUDA加速等技术交流群;

多传感器标定:相机在线/离线标定、Lidar-Camera标定、Camera-Radar标定、Camera-IMU标定、多传感器时空同步等技术交流群;

多传感器融合:多传感器后融合技术交流群;

规划控制与预测:规划控制、轨迹预测、避障等技术交流群;

定位建图:视觉SLAM、激光SLAM、多传感器融合SLAM等技术交流群;

三维视觉:三维重建、NeRF、3D Gaussian Splatting技术交流群;

自动驾驶仿真:Carla仿真、Autoware仿真等技术交流群;

自动驾驶开发:自动驾驶开发、ROS等技术交流群;

其它方向:自动标注与数据闭环、产品经理、硬件选型、求职面试、自动驾驶测试等技术交流群;

扫码添加汽车人助理微信邀请入群,备注:学校/公司+方向+昵称(快速入群方式)

c90938b0d8721ee2d6e0a888d85b6de0.jpeg

④【自动驾驶之心】硬件专场

6549430102a55fad0059885cefbb023c.jpeg

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值