最近刷知乎逛到一个问题:3D Gaussian Splatting技术的影响会有多大?今天就和大家聊聊3DGS这个话题~
三维重建近几年发展的关键词离不开NeRF和3DGS,NeRF让三维重建进入到自动驾驶感知算法的视野中,近期也涌现出一系列优秀的算法,像MARS、UniSim等等,在开源数据集Kitti上的效果也做的确实可以了。NeRF类方法最大的缺点就是慢,但这些都不重要,NeRF用隐式表示重新定义了三维重建的形式,汽车人觉得NeRF最大的意义,也许并不是从新视角去渲染新视图,而是提供了一种新的,不同于点云、网格、体素的3D表示方法,为三维重建提供了全新的可能。
而3DGS正是在这样的大背景下应运而生的,高斯是介于体积表示和点云表示之间的一种三维表示方法,天然的继承了两者的优势,所以3DGS又快又好。目前3DGS除了席卷了三维重建领域,更实在静态场景/动态场景重建、单目/环视、场景编辑、场景生成、感知(检测、定位、跟踪、3D分割、SLAM等等)、虚拟人体等诸多领域大放异彩。所以3D Gaussian Splatting技术的影响会有多大?可以遇见将会是革命性的进展!
说回在自动驾驶中的应用,近期已经有很多工作尝试将3DGS应用到自动驾驶场景中,像理想的Street Gaussian、北大的DrivingGaussian等等。就汽车人了解,很多业内公司正在尝试将3DGS应用到真实的自动驾驶场景中,最直观的应用就是重建出整个视频场景后,进行场景编辑生成新数据。这比实车采集corner case的成本要低得多的多,3DGS在整个数据闭环中的潜力非常值得大力挖掘。3DGS未来值得探索的地方还有很多很多,既然视觉重建可以用3DGS,那么Lidar重建呢?Radar呢?3DGS有没有这方面的潜力?3DGS有没有在自动驾驶领域单独的玩儿法?3DGS有没有进一步更优的表达形式?
