How Secure Are Large Language Models (LLMs) for Navigation in Urban Environments?

本文是LLM系列文章，针对《How Secure Are Large Language Models (LLMs) for Navigation in Urban Environments?》的翻译。

摘要

在机器人和自动化领域，基于大型语言模型（LLM）的导航系统最近表现出了令人印象深刻的性能。然而，这些系统的安全方面受到的关注相对较少。本文率先探索了城市户外环境中基于LLM的导航模型的漏洞，鉴于该技术在自动驾驶、物流和应急服务中的广泛应用，这是一个关键领域。具体来说，我们介绍了一种新的导航提示后缀（NPS）攻击，该攻击通过将梯度派生的后缀附加到原始导航提示上来操纵基于LLM的导航模型，从而导致错误的操作。我们在基于LLM的导航模型上进行了全面的实验，该导航模型使用各种LLM进行推理。我们的结果来源于在小样本学习和微调配置下的Touchdown和Map2Seq街景数据集，表明在面对白盒和黑盒攻击时，三个指标的性能显著下降。这些结果突出了NPS攻击的可推广性和可转移性，强调了增强基于LLM的导航系统安全性的必要性。作为初步对策，我们提出了导航提示工程（NPE）防御策略，重点关注与导航相关的关键词，以减少对抗性后缀的影响。虽然初步发现表明，这一战略提高了导航安全，但更广泛的研究界仍然迫切需要开发更强大的防御方法，以有效应对这些系统面临的现实挑战。

1 引言

2 相关工作

3 导航LLMS中的漏洞

4 增强LLMS导航的安全性

5 结论

在这项研究中，我们深入研究了以前未探索的基于LLM的导航模型在户外城市环境中的漏洞。在介绍新的导航提示后缀（NPS）攻击时，我们展示了在初始导航指令中附加梯度派生后缀