RoCoIns: Enhancing Robustness of Large Language Models through Code-Style Instructions

本文是LLM系列文章，针对《RoCoIns: Enhancing Robustness of Large Language Models
through Code

摘要

大型语言模型（LLM）在遵循人类指令方面表现出了非凡的能力。然而，最近的研究对LLM在使用结合文本对抗性样本的指令提示时的稳健性提出了担忧。在本文中，从LLM对指令设计敏感的最新工作中获得灵感，我们使用代码风格的指令来取代典型的自然语言指令，这种指令更具结构性，不那么模糊。通过这种转换，我们为LLM提供了更精确的指令，并增强了LLM的稳健性。此外，在少小样本场景下，我们提出了一种新的方法，使用干净样本和对抗性样本来合成上下文演示（对抗性上下文方法），以进一步提高LLM的稳健性。在八个鲁棒性数据集上的实验表明，我们的方法始终优于使用自然语言指令的提示LLM。例如，使用gpt-3.5-turbo，我们的方法在测试集准确性上提高了5.68%，在攻击成功率（ASR）上降低了5.66点。

1 引言

2 背景

3 方法

4 实验

5 分析