2025_NIPS_Context-Aware Hierarchical Learning: A Two-Step Paradigm towards Safer LLMs

文章核心总结与翻译

一、主要内容

1. 问题提出：大型语言模型（LLMs）虽在多领域广泛应用，但统一的令牌处理范式存在安全漏洞，难以区分不同角色指令的优先级。本文首次提出工具完成攻击（Tool-Completion Attack, TCA） 这一新攻击类型，攻击者通过构造虚假任务完成场景，使注入的恶意指令看似语义合法，从而劫持模型行为。
2. 评估基准：构建Tool-Completion基准，用于全面评估LLMs在对抗性场景下的安全性。实验显示，即使GPT-4o、Llama-3.1等先进模型对TCA的攻击成功率（ASR）仍超90%，凸显现有模型的脆弱性。
3. 解决方案：提出上下文感知分层学习（Context-Aware Hierarchical Learning, CAHL） 机制，通过两段式学习（片段总结+上下文传播）建立指令层级结构，动态平衡语义理解与角色特定约束，在不损失通用任务性能的前提下提升模型对抗攻击的鲁棒性。
4. 实验验证：在StruQ基准和Tool-Completion基准上的实验表明，CAHL对传统注入攻击（如Ignore、Escape-S）和TCA均能有效防御，零样本场景下泛化能力强，且仅增加1.67%的参数开销和3.90%的推理延迟。

二、创新点

1. 首次识别并形式化定义了