Emerging Safety Attack and Defense in Federated Instruction Tuning of Large Language Models

本文是LLM系列文章，针对《Emerging Safety Attack and Defense in Federated Instruction Tuning of Large Language Models》的翻译。

摘要

联邦学习（FL）使多方能够在不需要直接数据共享的情况下协作微调大型语言模型（LLM）。理想情况下，通过对符合人类偏好和安全原则的去中心化数据进行训练，联合指令调整可以产生一个可以以有益和安全的方式运行的LLM。在本文中，我们首次通过提出一种简单、隐蔽但有效的安全攻击方法，揭示了联邦信息技术中安全对齐的脆弱性。具体而言，恶意客户端可以在不需要手动操作的情况下自动生成攻击数据，并通过对其本地LLM进行此类攻击数据的训练来攻击FedIT系统。不幸的是，这种提出的安全攻击不仅会影响通过FedIT训练的LLM的安全对齐，而且无法通过许多现有的FL防御方法进行有效防御。针对这一点，我们进一步提出了一种事后防御方法，该方法可以依赖于完全自动化的管道：生成防御数据和进一步微调LLM。大量实验表明，我们的安全攻击方法可以显著损害LLM的安全对准（例如，将安全率降低70%），而现有的防御方法无法有效防御（最多4%的绝对改进），而我们的安全防御方法可以显著增强受攻击LLM的安全对准（最多69%的绝对改进。

1 引言

2 相关工作

3 前言

4 LLM联合指令调优中的安全攻击

5 联合指令调优中的安全攻击防御

6 实验

7 结论

本文首次揭示了通过联合指令调优训练的LLM的安全对齐漏洞，我们提出的安全攻击方法可能会