定位百度Apollo事故原因SoVAR: 使用LLM重构自动驾驶事故场景-优快云博客

本文链接：https://blog.youkuaiyun.com/laukal/article/details/142432321

定位百度Apollo事故原因SoVAR: 使用LLM重构自动驾驶事故场景

Abstract

自动驾驶系统（ADS）已取得显著进展，并越来越多地应用于安全关键场景。然而，最近报告的涉及ADS的致命事故数据表明，尚未完全达到期望的安全水平。因此，需要更全面、更有针对性的测试方法来确保驾驶安全。来自真实事故报告的场景为ADS测试提供了宝贵的资源，包括关键场景和高质量的种子。然而，现有的从事故报告中重建场景的方法在信息提取的准确性上往往有限。此外，由于道路环境的多样性和复杂性，将当前的事故信息与模拟地图数据匹配以进行重建也面临着重大挑战。

本文设计并实现了SoVAR，一种用于从事故报告中自动生成适用于各种道路结构的通用场景的工具。SoVAR利用精心设计的语言模式提示，引导大语言模型（LLM）从文本数据中提取事故信息。随后，SoVAR结合提取的事故信息，制定并解决与事故相关的约束条件，以生成事故轨迹。最后，SoVAR在不同的地图结构上重建事故场景，并将其转换为测试场景，用于评估其检测工业ADS缺陷的能力。我们利用来自美国国家公路交通安全管理局（NHTSA）数据库的事故报告，生成用于工业级ADS Apollo测试的场景。实验结果表明，SoVAR能够有效地在不同道路结构上生成通用化的事故场景。此外，结果确认SoVAR识别出了导致百度Apollo碰撞的5种不同类型的安全违规行为。

代码获取：https://github.com/meng2180/SoVAR

欢迎加入自动驾驶实战群

Introduction

自动驾驶技术的发展旨在提高交通运输的安全性、效率和便捷性，但目前仍存在安全风险，特别是在软件缺陷导致的事故中。为了提高自动驾驶系统（ADS）的安全性，业界和学术界都在寻求改进测试方法，主要分为道路测试和模拟测试两大类。

道路测试包括在封闭的试验场或实际交通环境中进行，但这种方法耗时耗资，且难以覆盖所有实际使用场景。因此，高保真度的模拟测试变得尤为重要，它能够在模拟平台上重现可能导致事故的关键场景。

研究人员提出利用现实生活中的事故案例来生成这些关键测试场景。事故报告提供了丰富的文本描述，包括天气、光线和道路条件等复杂细节，这些信息对于模拟测试至关重要。然而，现有的基于事故报告的场景重建方法在信息提取的准确性上存在局限，且通常只能在与事故报告中描述相同的道路结构上再现事故场景，这限制了它们在模拟平台上的广泛应用，因为模拟中的道路结构可能与实际事故场景有所不同。

总的来说，尽管模拟测试是自动驾驶技术发展中的关键环节，但如何更准确地从事故报告中提取信息并将其应用于多样化的模拟测试场景，仍然是一个需要进一步研究和解决的问题。

为弥补这一差距，我们提出了一种自动化且通用的方法——SoVAR，从事故报告中重建适用于不同道路结构的事故场景。SoVAR的主要目标是在模拟环境中自动从事故报告中重建事故场景，这些场景可以用作ADS测试的初始种子。SoVAR首先利用精心设计的语言模式提示，引导LLM准确提取环境、道路和物体运动信息。基于提取的信息和用于重建场景的道路，SoVAR为事故场景制定了约束条件。通过使用约束求解器解决这些约束条件，我们可以生成事故参与者的事故轨迹，最终重建事故场景。因此，生成的场景可以在所需的地图上执行。此外，为了将这些场景用于ADS测试，SoVAR通过识别自车（即受测ADS控制的车辆）和NPC（非玩家角色）车辆，将其转换为测试场景。NPC车辆将遵循计算出的轨迹，而自车则由ADS控制，而不是遵循预定轨迹。

为了评估SoVAR的有效性，我们基于NHTSA的事故报告和LGSVL模拟器提供的旧金山地图重建场景。生成的场景随后用于测试百度Apollo。实验结果表明，SoVAR的事故信息提取方法优于所有基线方法。此外，后续结果强调，SoVAR成功生成了可适应不同道路结构的通用化事故场景，并且能够用于ADS测试，识别出工业级软件Apollo中的多种安全违规行为。