Adaptive Stress Testing Black-Box LLM Planners

文章主要内容

本文聚焦于大语言模型（LLMs）在规划任务中可能出现的幻觉问题，提出一种基于自适应压力测试（AST）和蒙特卡洛树搜索（MCTS）的黑箱检测方法，旨在系统评估LLMs在不同提示扰动下的鲁棒性，具体内容如下：

1. 手动扰动案例研究：在自动驾驶场景中，通过手动调整提示中的传感器细节（如移除位置、速度信息）、添加噪声或随机化文本顺序，发现LLMs（如DeepSeek、Llama）的决策会因扰动而产生不一致，甚至出现幻觉行为（如生成不可行的变道动作）。
2. 自适应压力测试框架：将提示扰动建模为MDP问题，利用MCTS搜索最优扰动策略，通过最大化LLMs输出的动作多样性（作为不确定性代理指标），自动发现导致模型高不确定性的场景和提示。
3. 实验验证：在高速公路驾驶环境中，对Llama、Dolphin等开源LLMs进行离线压力测试，生成扰动树并分析模型敏感性。结果表明，AST能有效识别模型不可靠的场景，且离线分析可在运行时生成影响模型不确定性的提示，辅助实时信任评估。

文章创新点

1. 黑箱自适应压力测试方法：无需访问模型权重或token概率，仅通过输出响应评估LLMs不确定性，适用于闭源模型。
2. 蒙特卡洛树搜索驱动的扰动搜索：系统性探索提示扰动空间，通过动作多样性量化模型不确定性，突破传统随机扰动的局限性。
3. 实时信任评估能力：利用离线构