Large Language Models as Zero-shot Dialogue State Tracker through Function Calling

本文是LLM系列文章，针对《Large Language Models as Zero-shot Dialogue State Tracker through Function Calling》的翻译。

摘要

大型语言模型由于其在一般上下文中的高级理解和生成能力，在会话系统中越来越普遍。然而，它们在面向任务的对话（TOD）中的有效性仍然不太令人满意，该对话不仅需要生成响应，还需要在特定任务和领域内进行有效的对话状态跟踪（DST）。在这项工作中，我们提出了一种新的方法FNCTOD，通过函数调用来解决具有LLM的DST。该方法改进了零样本DST，允许在无需大量数据收集或模型调整的情况下适应不同的领域。我们的实验结果表明，我们的方法在中等规模的开源和专有LLM中都实现了卓越的性能：在上下文提示下，它使各种7B或13B参数模型能够超越ChatGPT之前实现的最先进的（SOTA），并将ChatGPT的性能提高了5.6%，平均JGA超过了SOTA。GPT-3.5和GPT-4的个体模型结果分别提高了4.8%和14%。我们还表明，通过对一小部分不同的面向任务的对话进行微调，我们可以为中等规模的模型，特别是13B参数的LLaMA2聊天模型，配备与ChatGPT相当的函数调用功能和DST性能，同时保持其聊天功能。我们将开源实验代码和模型。

1 引言

2 相关工作

3 背景

4 方法

5 实验

6 结论

我们引入了一种新的方法来解决LLM的零样本DST的挑战性任务，使其能够处理不同领域的一般对话和面向任务的对话，而无需额外的数据收集。我们在MultiWOZ上的实验结果表明，我们的方法不