Lethe: Purifying Backdoored Large Language Models with Knowledge Dilution

Lethe：通过知识稀释净化带后门大型语言模型（文章总结与翻译）

一、文章主要内容总结

1. 研究背景与问题

大型语言模型（LLMs）在自然语言处理任务中表现优异，但易受后门攻击——模型对普通查询正常响应，而触发特定“后门触发器”时会生成有害内容或非预期输出。现有后门防御存在局限性：要么覆盖范围窄（仅针对特定触发器、仅检测不净化、适用领域有限），要么难以抵御模型编辑攻击、多触发器攻击、无触发器攻击等复杂场景。

2. 核心方法：LETHE框架

LETHE通过“知识稀释”从内部（参数层面）和外部（输入层面）双机制消除LLMs中的后门行为，无需对带后门模型重训练，也无需提前知晓触发器信息。

• 内部知识稀释：用少量清洁数据（少于10%训练样本），通过低秩适应（LoRA）训练一个“清洁模型”，再将其与带后门模型通过球面线性插值（SLERP，默认合并方式）等策略合并。该过程通过稀释模型参数记忆中的后门影响，中和恶意行为。
• 外部知识稀释：从输入查询中提取关键词（用TextRank算法，无监督且领域无关），从WordNet等可靠知识库获取关键词的语义中性解释作为“证据”，将证据与原始查询拼接。此操作可分散模型对后门特征的注意力，进一步削弱后门影响。

3. 实验设计与结果

• 实验配置：覆盖分类（SST-