Adaptive Content Restriction for Large Language Models via Suffix Optimization

文章主要内容和创新点

主要内容

本文聚焦于大型语言模型（LLMs）的内容限制问题，针对不同用户群体的特定需求（如心理健康场景需避免触发式内容），提出了一种无需模型微调的轻量级解决方案。具体包括：

1. 任务定义：提出“自适应内容限制（AdaCoRe）”任务，目标是在不修改模型参数的前提下，通过提示工程阻止LLMs生成用户指定的“受限术语”，同时保持输出质量（连贯性、相关性）。
2. 方法设计：提出“后缀优化（SOP）”方法，通过优化一个短后缀附加到输入提示后，实现受限术语的抑制。SOP的损失函数包含三部分：限制损失（降低受限术语生成概率）、质量损失（保证输出流畅性）、语义损失（维持输入与输出的语义关联）。
3. 基准创建：构建“内容限制基准（CoReBench）”，包含80个受限术语（覆盖8个类别，如“濒危物种”“公司名称”等）和400个提示词，用于评估AdaCoRe方法。
4. 实验验证：在Gemma2-2B、Mistral-7B等5个模型上验证SOP的有效性，其限制率平均优于系统级基线（如系统后缀）15%~6%；同时在POE等在线平台上验证了其实用性，证明了迁移能力。

创新点

1. 新任务提出：首次定义AdaCoRe任务，专注于动态、用户特异性的内容限制，无需模型微调，填补了通用安全对齐与特定场景需求之间的空白。