simlingo：实现视觉-语言-动作协同的自动驾驶

simlingo：实现视觉-语言-动作协同的自动驾驶

simlingo [CVPR 2025, Spotlight] SimLingo (CarLLava): Vision-Only Closed-Loop Autonomous Driving with Language-Action Alignment 项目地址: https://gitcode.com/gh_mirrors/si/simlingo

项目介绍

simlingo 是一个创新的自动驾驶系统，它集成了视觉、语言和动作（Vision-Language-Action，VLA）的协同工作模式，实现了在CARLA模拟环境中的领先驾驶性能。simlingo 不仅能在CARLA Leaderboard和Bench2Drive竞赛中达到顶尖水平，还具备视觉问答（VQA）、评论生成和指令跟随等语言能力，为自动驾驶领域带来了新的突破。

项目技术分析

simlingo 的技术核心在于其独特的VLA模型，该模型结合了视觉感知、语言理解和动作决策三个关键要素。项目基于Carla Garage框架开发，采用了PDM-lite专家系统进行数据生成，并引入了语言标签生成、梦境数据生成等先进技术。项目包含了数据收集、模型训练、评估等多个环节，为研究人员和开发者提供了完整的工具链。

数据生成

数据生成是simlingo的关键步骤之一。项目使用PDM-lite专家系统从Carla环境中收集驾驶数据，同时保存了丰富的仿真状态信息，以支持后续的语言标签生成。数据生成包括驾驶数据、语言数据和梦境数据三个部分：

• 驾驶数据：通过并行化的数据收集脚本来收集，支持在多GPU环境中高效工作。
• 语言数据：包括VQA和评论，使用ChatGPT进行数据增强，以丰富语言表达。
• 梦境数据：通过生成多个未来轨迹来提高语言与动作的对齐性，涵盖多种驾驶模式。

模型训练

simlingo 的模型训练涉及基础模型和最终模型的训练。在训练过程中，项目使用了多种增强技术，包括数据增强和子句级别的语言增强，以提高模型的表现力和泛化能力。

项目技术应用场景

simlingo 的技术应用场景广泛，不仅可以应用于自动驾驶的仿真训练，还可以在现实世界的自动驾驶系统中发挥重要作用。以下是几个典型的应用场景：

1. 自动驾驶仿真训练：通过在Carla等仿真环境中进行训练，simlingo 可以不断优化其驾驶策略，提高驾驶安全性。
2. 智能辅助驾驶：在现实车辆中集成simlingo，可以提供更加人性化的驾驶辅助，如实时路况评论、指令跟随等。
3. 无人驾驶出租车：simlingo 可以应用于无人驾驶出租车，提供安全、舒适的乘客体验，并通过语言交互增强乘客的乘车体验。

项目特点

simlingo 项目具有以下显著特点：

• 领先的驾驶性能：在CARLA Leaderboard和Bench2Drive竞赛中表现出色，达到了行业领先水平。
• 强大的语言能力：simlingo 不仅能够执行驾驶任务，还能进行视觉问答、生成评论和跟随指令，提供更加全面的交互体验。
• 创新的数据增强技术：通过数据增强和子句级别的语言增强，提高了模型的表现力和泛化能力。
• 开放的数据集：项目提供了完整的数据集，支持社区进行进一步的研究和开发。

simlingo 项目的开源发布，为自动驾驶领域的研究和开发提供了新的工具和方法，有望推动该领域的进一步发展。我们鼓励感兴趣的科研人员和技术开发者关注并尝试使用simlingo，共同推动自动驾驶技术的进步。

simlingo [CVPR 2025, Spotlight] SimLingo (CarLLava): Vision-Only Closed-Loop Autonomous Driving with Language-Action Alignment 项目地址: https://gitcode.com/gh_mirrors/si/simlingo