点击下方卡片,关注“自动驾驶之心”公众号
3DGS的技术迭代速度远超想象。静态重建3DGS、动态重建4DGS、表面重建2DGS,再到feed-forward 3DGS。目前该领域在学术界和工业界都很吃得开,很多同学想入门却苦于没有有效的学习路线图:既要吃透点云处理、深度学习等理论,又要掌握实时渲染、代码实战,零散查资料自学往往越学越懵,遇到问题连个请教的人都没有。为此自动驾驶之心联合工业界算法专家开展了这门《3DGS理论与算法实战教程》!我们花了两个月的时间设计了一套3DGS的学习路线图,从原理到实战细致展开。全面吃透3DGS技术栈。

讲师介绍
Chris:QS20 硕士,现任某Tier1厂算法专家,目前从事端到端仿真、多模态大模型、世界模型等前沿算法的预研和量产,参与过全球TOP主机厂仿真引擎以及工具链开发,拥有丰富的三维重建战经验。
课程大纲

这门课程讲如何展开
第一章:3DGS的背景知识
第一章主要是课程的概述。很多刚入门的同学往往一头雾水,尤其是直接接触3DGS领域的同学。所以本章节先从计算机图形学的基础讲起,三维空间的隐式表达和显式表达、渲染管线、光线追踪、辐射场渲染都是什么,这些技术概念和3DGS的联系是什么。进一步老师会讲解3DGS常用的开发工具,像SuperSplat,点云初始化最常用的工具COLMAP以及业内现在主流的算法框架Gsplat。为了更好的让同学们入门,第一章设计了一个小作业,基于3D Real Car训练3DGS模型,进一步使用SuperSplat移除一些杂点。
第二章:3DGS的原理和算法
第二章则正式进入到3DGS的原理和算法部分。整体上第二章的设计思路是带大家先打好基础,先详细梳理3DGS的原理部分及核心伪代码,接着讲解动态重建、表面重建、鱼眼重建和光线追踪的经典文章和最新的算法,由点及面层层深入。实战我们选取了英伟达开源的3DGRUT框架,适合大家学习和进一步科研。
第三章:自动驾驶3DGS
第三章是自动驾驶仿真重建的技术讲解。目前网上的资料五花八门,很多同学没有办法高效筛选真正适合自己的学习内容。因此这个章节就聚焦在三篇工作上,浙大经典的Street Gaussian、上交OmniRe和浙大最新的Hierarchy UGP。实战我们选取了学术界和工业界使用最多的DriveStudio,方便大家后续扩展学习。
第四章:3DGS重要的研究方向
经过前三章的学习,我们梳理完了3DGS的理论基础和主流技术方向。所以在第四章,我们聚焦在3DGS重要的几个研究方向上:COLMAP的扩展、深度估计及Relighting。这个部分老师也会分享个人的理解,这些研究方向如何服务于工业界,学术界为什么值得探索,未来又将走势如何等等。
第五章:Feed-Forward 3DGS
第五章老师和大家聊聊Feed-Forward 3DGS。前馈3DGS今年特别火,以往per-scene optimization的方法用起来实在不方便,所以feed-forward应运而生。这一章会先梳理一下feed-forward的发展历程和算法原理,接着讲解两篇最新的算法工作AnySplat和WorldSplat。
第六章:答疑讨论
第六章我们会选择线上交流的形式,组织vip群内答疑。聊聊目前3DGS的岗位需求、行业的痛点以及一些开放性问题的讨论,学院们也有机会和老师深入交流。
面向人群
需要自备GPU,推荐算力在4090及以上;
一定的计算机图形学基础;
一定程度了解视觉重建、NeRF、3DGS等技术;
一定的概率论和线性代数基础,熟悉常用的数学运算;
具备一定的python和pytorch语言基础;
学后收获
掌握3DGS完善的理论知识及相关技术栈;
掌握3DGS算法开发框架,训练开源模型;
和学术界&工业界的同行持续交流;
无论是实习、校招、社招都能从中受益;
课程进度安排
课程开课时间:12.1号,预计两个半月结课。离线视频教学,vip群内答疑+三次线上答疑;
开始解锁时间 | 对应章节 |
|---|---|
12.1 | 第一章 |
12.7 | 第二章 |
1.7 | 第三章 |
1.21 | 第四章 |
2.4 | 第五章 |
课程咨询
1969

被折叠的 条评论
为什么被折叠?



