Efficient Out-of-Scope Detection in Dialogue Systems via Uncertainty-Driven LLM Routing

文章主要内容总结

本文提出了一种名为UDRIL（Uncertainty-Driven LLM Routing）的框架，用于任务导向对话系统（TODS）中的高效超出范围（OOS）意图检测。该框架通过两步法平衡计算效率与检测准确性：

1. 第一步：使用轻量级的DistilBERT作为范围内（INS）意图分类器，对用户输入进行初步意图预测，并通过不确定性评分函数（EC-NNK-Means）评估预测的不确定性；
2. 第二步：若不确定性评分超过预设阈值，触发微调的大型语言模型（LLM，如Llama 3.1-8B）对高不确定性输入进行最终决策（判断为INS意图或OOS），否则直接采用分类器的结果。

实验结果表明，UDRIL在公开数据集（HINT3）和真实世界数据（BookData）上均达到了当前最优（SOTA）性能，同时通过选择性调用LLM，在保证准确性的前提下显著降低了计算成本，适用于实际生产环境。

创新点

1. 模块化框架设计：结合传统意图分类器（高效）、不确定性建模（识别模糊输入）和LLM（高精度处理复杂情况）的优势，无需修改基础分类器即可实现OOS检测，易于维护和更新。
2. 选择性LLM触发机制：通过不确定性评分动态控制输入路由，仅将高不确定性案例交给LLM处理，平衡了计算效率与检测性能，解决了LLM在全量数据场景下成本过高的问题。
3. 实用化性能提升：在公开数据集和真实部署系统的数