Adversarial Evasion Attack Efficiency against Large Language Models

本文是LLM系列文章，针对《Adversarial Evasion Attack Efficiency against Large Language Models》的翻译。

摘要

大型语言模型（LLM）对文本分类很有价值，但它们的漏洞不容忽视。它们缺乏对抗性示例的稳健性，因此有必要了解不同类型扰动的影响，并评估这些攻击是否可以由普通用户通过少量扰动和对部署的LLM的少量查询复制。这项工作分析了在情绪分类任务中针对五种不同LLM的三种不同类型的对抗性攻击的有效性、效率和实用性。所获得的结果表明，单词级和字符级攻击的影响非常明显。单词攻击更有效，但字符和更受约束的攻击更实用，并且需要减少扰动和查询的数量。在开发对抗性防御策略时需要考虑这些差异，以便为智能文本分类应用程序训练更强大的LLM。

1 引言

2 相关工作

3 方法

4 结果和讨论

5 结论

这项工作分析并比较了三种不同类型的对抗性规避攻击的有效性、效率和实用性，以更好地理解不同类型扰动的影响。这些攻击是在情绪分类任务中使用RottenTomatoes数据集的电影评论文本样本进行的。分析包括每次攻击的扰动量和质量、它们的计算效率以及五种不同LLM的易感性。
所考虑的BERTA攻击、ChecklistAttack和TypoAttack是针对BERT、RoBERTa、DistilBERT、ALBERT和XLNet模型执行的。第一种是BERTAttack，它实现了最佳的总体错误分类率，尽管它需要许多查询，直到它产生了实际上可能欺骗模型的单词级扰动，而且这些扰动并不总是完全一致的。TypoAttack能够生成最小且不太明显的字符级