GeoSim：通过几何感知合仿真自动驾驶方法

最新推荐文章于 2025-10-11 11:54:16 发布

原创

最新推荐文章于 2025-10-11 11:54:16 发布 · 931 阅读

0 ·

CC 4.0 BY-SA版权

GeoSim是一种结合显式和隐式建模方法的新型自动驾驶视频仿真技术，该技术利用多摄像头、多传感器和自监督学习的方式实现高度逼真的仿真效果。GeoSim通过采集真实世界的数据并重建3D场景，再将这些3D场景插入到视频中以创建新的仿真场景，这种方法能够有效提升仿真结果的真实感，并且具备良好的扩展性和可修正性。

GeoSim: Realistic Video Simulation via Geometry-Aware Composition for Self-Driving

动机

视觉仿真是计算机视觉技术在自动驾驶中采用传感器实现工业控制核心技术方案，这样技术的主要任务是测试自动驾驶感知技术和在不同场景下的决策技术，减少人工参与节省和降低难度。
图像仿真的相关工作一般分为图形学成像技术和神经网络特征编码超分对抗生成技术两类。第一种技术成熟可控但是需要人为的操作实现，例如CARLA Simulator，Asset，PresScan相比生成的效果真实性欠缺；第二种技术通常是数据驱动的编解码方法不需要人工直接合成仿真系统，例如Pixel2Pixel，SPADE，GeoSim等
在这里插入图片描述

GeoSim系统分为：

（1）感知重建部分：通过自己驾驶数据采集车重建大量的3D场景
（2）仿真合成部分：将重建的3D场景数据插入视频仿真视频场景

存在的技术挑战：

（1）仿真结果与真实世界的差距（Realism Gap）
（2）方法可以扩展人工可以修正（Scalable）
（3）神经网络和图形学相互补充

方法

GeoSim=multi camera+multi sensor+self supervised
使用CNN和PointNet分布将图片和LiDAR特征拼接成一个特征向量；通过图形学的Meanshape+deformation=predictshape分

最低0.47元/天解锁文章