本文关注基于大型语言模型（LLM）的导航系统在城市环境中的安全性问题，提出导航提示后缀（NPS）攻击可以操纵LLM导航，导致错误决策。实验表明，这种攻击具有可推广性和可转移性，强调了增强导航系统安全性的紧迫性。为应对这一挑战，提出了导航提示工程（NPE）防御策略，但仍需进一步研究以发展更强大的防御方法。
本文是LLM系列文章，针对《How Secure Are Large Language Models (LLMs) for Navigation in Urban Environments?》的翻译。
城市环境中导航的大型语言模型（LLM）的安全性如何？
摘要
在机器人和自动化领域，基于大型语言模型（LLM）的导航系统最近表现出了令人印象深刻的性能。然而，这些系统的安全方面受到的关注相对较少。本文率先探索了城市户外环境中基于LLM的导航模型的漏洞，鉴于该技术在自动驾驶、物流和应急服务中的广泛应用，这是一个关键领域。具体来说，我们介绍了一种新的导航提示后缀（NPS）攻击，该攻击通过将梯度派生的后缀附加到原始导航提示上来操纵基于LLM的导航模型，从而导致错误的操作。我们在基于LLM的导航模型上进行了全面的实验，该导航模型使用各种LLM进行推理。我们的结果来源于在小样本学习和微调配置下的Touchdown和Map2Seq街景数据集，表明在面对白盒和黑盒攻击时，三个指标的性能显著下降。这些结果突出了NPS攻击的可推广性和可转移性，强调了增强基于LLM的导航系统安全性的必要性。作为初步对策，我们提出了导航提示工程（NPE）防御策略，重点关注与导航相关的关键词，以减少对抗性后缀的影响。虽然初步发现表明，这一战略提高了导航安全，但更广泛的研究界仍然迫切需要开发更强大的防御方法，以有效应对这些系统面临的现实
已下架不支持订阅
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
