2025_NIPS_On the Robustness of Verbal Confidence of LLMs in Adversarial Attacks

文章核心总结与翻译

一、主要内容

本文是首项针对大型语言模型（LLMs）言语置信度（verbal confidence）对抗攻击鲁棒性的全面研究。言语置信度指LLMs用自然语言表达对自身答案正确性的信心程度，对人机交互的透明度、信任度和安全性至关重要。

研究设计了两类攻击框架：基于扰动（如同义词替换、字符错误）和基于越狱（如优化触发短语）的言语置信度攻击（VCA），在通用、医疗、法律等多个数据集及不同模型（Llama-3系列、GPT-3.5-turbo、GPT-4o）上验证。结果显示，这些攻击能使平均置信度降低高达30%，部分正确样本的答案翻转率达100%，且现有防御手段（如释义、SmoothLLM）大多无效或适得其反。此外，研究还分析了不同置信度诱导方法（CEM）、模型规模和应用场景的影响，发现低置信度场景下模型更易受攻击，且言语置信度与模型内部日志概率校准度较弱。

二、创新点

1. 首次系统性开展言语置信度对抗攻击研究，填补了现有研究多关注日志概率置信度、忽视自然语言表达置信度脆弱性的空白。
2. 提出6种具体攻击方法（4种扰动类：VCA-TF、VCA-TB、Typos、SubSwapRemove；2种越狱类：ConfidenceTriggers、ConfidenceTriggers-AutoDAN），覆盖不同攻击路径。
3. 全面验证攻击在多数据集、多模型、多置信度诱导方法下的有效性，揭示言语置信度鲁棒性的关键影响因素（如模型规模、置信度水平）。
4. 深入分析现有防御机制的局限性，为后续设计鲁棒的置信度表达机制提供实证基础。