Large Language Models Meet Open-World Intent Discovery and Recognition: An Evaluation of ChatGPT

本文是LLM系列文章，针对《Large Language Models Meet Open-World Intent Discovery and
Recognition

摘要

域外（OOD）意图发现和广义意图发现（GID）的任务旨在将封闭意图分类器扩展到开放世界意图集，这对面向任务的对话（TOD）系统至关重要。以前的方法通过微调判别模型来解决这些问题。最近，尽管一些研究一直在探索以ChatGPT为代表的大型语言模型（LLM）在各种下游任务中的应用，但ChatGPT发现并逐步扩展OOD意图的能力仍不清楚。在本文中，我们在OOD意图发现和GID方面对ChatGPT进行了全面的评估，然后概述了ChatGPT的优势和劣势。总体而言，ChatGPT在零样本设置下表现出一致的优势，但与微调模型相比仍处于劣势。更深入地说，通过一系列分析实验，我们总结和讨论了LLM面临的挑战，包括聚类、特定领域的理解和跨领域的上下文学习场景。最后，我们为应对这些挑战的未来方向提供了经验指导。

1 引言

2 相关工作

3 方法

4 实验

5 定性分析

6 挑战与未来工作

7 结论

在本文中，我们对ChatGPT在OOD意图发现和GID方面进行了全面的评估，并总结了ChatGPT的优缺点。尽管ChatGPT在零样本或少样本性能方面取得了显著改进，但我们的实验表明，ChatGPT仍落后于微调模型。此外，我们进行了广泛的分析实验，深入探索LLM面临的三个具有挑战性的场景：大规模聚类、领域特定理解、跨领域上下文