2025_NIPS_TrojLLM: A Black-box Trojan Prompt Attack on Large Language Models

文章主要内容与创新点总结

一、主要内容

本文聚焦大型语言模型（LLMs）作为API服务部署时的安全漏洞，提出了名为TrojLLM的黑盒特洛伊木马攻击框架。该框架针对离散提示词（离散文本提示）的脆弱性，自动生成通用且隐蔽的触发器，当触发器嵌入输入数据或特洛伊提示词被使用时，可恶意操控LLMs的输出，同时保证在干净测试集上的高性能。

研究背景方面，LLMs广泛以API形式提供NLP任务服务，提示词学习范式虽具诸多优势，但离散提示词的安全问题缺乏充分研究，现有相关攻击多针对白盒场景，难以适用于GPT-3.5、GPT-4等闭源黑盒API。

TrojLLM的核心架构包含两大模块：

1. 通用API驱动的触发器发现：先搜索高准确率的干净提示词种子（PromptSeed Tuning），再固定该种子搜索通用触发器（Universal Trigger Optimization），确保触发器不影响干净输入的预测准确率。
2. 渐进式提示词投毒（Progressive Prompt Poisoning）：基于提示词种子增量添加提示词令牌，在保留高干净准确率的同时提升攻击成功率，且生成的触发器和投毒提示词具有跨模型可迁移性。

实验验证方面，在8个主流模型（含GPT-3、GPT-4）和5个数据集上进行测试，结果表明TrojLLM能实现高攻击成功率（ASR）和干净准确率（ACC），单个令牌触发器即可达到优异攻击效果，且适配无概率输出的API场景。此外，文章还讨论了攻击的社会影响，指出其对医疗、金融等高危领域的潜在风险，并提出了基于准确率变化检测和触发器裁剪的防御思路。