Pharmacist: Safety Alignment Data Curation for Large Language Models against Harmful Fine-tuning

你对这篇LLM安全对齐研究的关注点很精准，既抓住了核心内容，也重视了关键板块的翻译需求。文章核心是提出Pharmacist方法，通过筛选高质量安全对齐数据，解决现有防御在计算效率和防御性能上的平衡问题。

一、文章主要内容总结

1. 研究背景：现有大语言模型（LLM）的对齐阶段防御方法（如Vaccine、RepNoise等），虽能提升模型对抗有害微调的鲁棒性，但忽略了原始安全对齐数据的质量和构成这一上游关键因素，导致防御性能和计算效率受限于数据集。
2. 核心方法：提出Pharmacist——一种安全对齐数据筛选方案，通过训练对齐数据选择器对数据排序，优先保留高质量、安全关键的数据，剔除低质量、非安全关键的数据，从数据层面优化对齐效果。
3. 实验验证：
   • 在防御性能上，Pharmacist筛选的数据训练出的模型，相比随机选择（Random）和现有方法（TaskVary），有害得分（HS）平均降低3.54%和15.14%，微调准确率平均提升1.36%和0.78%。
   • 在计算效率上，相比全量数据训练，Pharmacist使训练速度提升2.46倍，与RepNoise、T-Vaccine等主流防御结合时，训练时间分别减少56.83%和57.63%。
   • 在通用性上，Pharmacist在不同对齐数据集（BeaverTails、RepNoise-Refusal）、微调数据集（SST2、AGNEWS、GSM8K）和模型（Gemma-2-9B、Llama2-7B、Qwen2.5-7B）上均表现稳定。