Assessing Adversarial Robustness of Large Language Models: An Empirical Study

本文是LLM系列文章，针对《Assessing Adversarial Robustness of Large Language Models: An Empirical Study》的翻译。

摘要

大型语言模型 （LLM） 彻底改变了自然语言处理，但它们对对抗性攻击的稳健性仍然是一个关键问题。我们提出了一种新颖的白盒式攻击方法，该方法暴露了领先的开源 LLM（包括 Llama、OPT 和 T5）中的漏洞。我们评估了模型大小、结构和微调策略对它们对对抗性扰动的抵抗力的影响。我们对五种不同的文本分类任务进行了全面评估，为 LLM 稳健性建立了新的基准。本研究的结果对 LLM 在实际应用中的可靠部署具有深远的影响，并有助于推动值得信赖的 AI 系统的发展。

1 引言

2 相关工作

3 前言

4 方法

5 实验设置

6 实验结果

7 结论

本文利用一种新颖的几何对抗攻击方法来评估领先 LLM 的鲁棒性，利用先进的微调技术进行特定于任务的模型适应。我们的开创性方法表明，这些模型对对抗性攻击表现出不同的敏感性，受其大小和架构差异的影响。这表明 LLM 中存在固有的漏洞，但表明某些配置具有潜在的弹性。与预期相反，特定于 LLM 的技术并没有显着降低稳健性。未来的研究可以在此框架内探索 RL