Empowering Autonomous Driving with Large Language Models: A Safety Perspective

本文是LLM系列文章，针对《Empowering Autonomous Driving with Large Language Models: A Safety Perspective》的翻译。

摘要

自动驾驶（AD）在商业推出方面面临着关键的障碍，尤其是由于长尾不可预见的驾驶场景，公众信任和安全问题减弱。这种困境是由于AD软件中深度神经网络的局限性造成的，深度神经网络难以解释，在分布外和不确定的场景中表现出较差的泛化能力。为此，本文探讨了将大型语言模型（LLM）集成到AD系统中，利用其强大的常识知识、推理能力和人机交互能力。所提出的方法将LLM部署为规划的智能决策者，结合上下文安全学习的安全验证器，以提高AD的整体性能和安全性。我们提出了两个案例研究来确认我们的方法的有效性。我们进一步讨论了LLM在其他AD软件组件中的潜在用途，包括感知、预测和模拟。尽管在案例研究中观察到了挑战，但整合LLM对加强AD的安全性和性能是有希望和有益的。

1 引言

2 相关工作

3 LLM作为行为规划器：具有安全保证的LLM条件自适应MPC规划

4 LLM作为交互式决策者：基于行为预测和状态机的交互式规划

5 讨论：LLM作为其他安全角色

6 结论

总之，我们提出的框架探索了LLM在自动驾驶系统中的集成，并通过软件管道中的