基于3DGS和Diffusion的自动驾驶闭环仿真论文总结

最新推荐文章于 2025-12-01 10:56:49 发布

转载最新推荐文章于 2025-12-01 10:56:49 发布 · 226 阅读

CC 4.0 BY-SA版权

原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247672543&idx=3&sn=b8d4c6c90c65a19ca252851fb4cc62a5&chksm=cf9862ca02589065fd4f0e8be3039e9a51f2cd788db910e63b633dd4aa7f15f17df62fca25f8&scene=126&sessionid=0

文章标签：

#3d #自动驾驶 #人工智能 #机器学习

作者 | 天然不冻港编辑 | 自动驾驶之心

原文链接：https://zhuanlan.zhihu.com/p/1925525419739834361

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>自动驾驶前沿信息获取→自动驾驶之心知识星球

本文只做学术分享，如有侵权，联系删文

浅读了近期来自cvpr2025的一些工作，浅显总结一下:

自动驾驶仿真器 = 场景渲染 + 场景外推 + 3D资产重建 + Relighting + 智能体 + 天气 + 其他狠活

HUGSIM HUGSIM: A Real-Time, Photo-Realistic and Closed-Loop Simulator for Autonomous Driving

https://doi.org/10.48550/arXiv.2412.01718

第一步：搭个静态环境（建模篇）

用 3D Gaussian Splatting（3DGS）和 Diffusion Model 打造一个逼真的城市，细节到连路边的奶茶杯都看得清清楚楚

OmniRe https://arxiv.org/abs/2408.16760
Street Gaussians https://arxiv.org/pdf/2401.01339
ReconDreamer https://arxiv.org/abs/2411.19548
StreetCrafter https://arxiv.org/abs/2412.13188

第二步：环视采集数据，搞点动态资产（素材收集篇）

从环视采集数据中抠出汽车、行人、猫猫狗狗……甚至还有突然跳出来的广场舞阿姨

MADrive https://arxiv.org/abs/2506.21520
3DRealCar https://arxiv.org/pdf/2406.04875

第三步：重打光（Relighting）让它们更自然（视觉润色篇）

为了让这些资产看起来不是P上去的，还得给它们重新打光。不然就像AI换脸一样，一眼假。
模拟清晨、黄昏、夜晚、暴雨天、反光强光等复杂光照条件，确保每一根毛发都闪闪发光

R3D2 https://arxiv.org/pdf/2506.07826
DiPIR https://arxiv.org/abs/2408.09702

第四步：智能体登场（Behavior篇）

每个资产都是一个智能体，有自己的大脑和脾气比如，甚至可以操作其他智能体：
- 汽车可以“变道不打灯，打灯变三道”，完美复刻现实中的老司机操作
- 行人可以“马路中间拍照发朋友圈”
- 高速电子指示牌可以显示“高速路况复杂，慎用辅助驾驶”

BehaviorGPT https://arxiv.org/abs/2405.17372
SMART https://arxiv.org/pdf/2405.15677
DFTO-FW https://arxiv.org/abs/2412.01468

第五步：天气系统上线（氛围感拉满）

想下雨就下雨，想下冰雹就下冰雹，想下彩虹雨也没问题。
雨刮器动不动就罢工，摄像头一沾水就模糊，仿佛在说：“老子不想干了！”
雾霾天能让激光雷达“看不清远方”，雪天能让摄像头“白茫茫一片真干净”。

Weather-Magician https://arxiv.org/abs/2505.19919
RainyGS https://arxiv.org/abs/2503.21442

第六步：其他狠活（黑科技彩蛋）

开启“地狱副本”，让一辆自动驾驶车面对“外卖小哥+快递电瓶车+遛狗大妈+抛洒钉子的神秘男子”组成的终极BOSS组合。

自动驾驶之心

论文辅导来啦

知识星球交流社区

近4000人的交流社区，近300+自动驾驶公司与科研结构加入！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（大模型、端到端自动驾驶、世界模型、仿真闭环、3D检测、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎加入。

独家专业课程

端到端自动驾驶、大模型、VLA、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频

学习官网：www.zdjszx.com