Chatbot Meets Pipeline: Augment Large Language Model with Definite Finite Automaton

本文是LLM系列文章，针对《Chatbot Meets Pipeline: Augment Large Language Model with Definite Finite Automaton》的翻译。

摘要

本文介绍了确定性有限自动机增广大语言模型（DFA-LLM），这是一种新的框架，旨在使用大语言模型增强会话代理的能力。传统的LLM在具有预先确定的响应指南的特殊场景中，如情感支持和客户服务，在生成受监管和合规的响应方面面临挑战。我们的框架通过在LLM中嵌入从训练对话中学习的确定有限自动机（DFA）来解决这些挑战。这种结构化的方法使LLM能够在DFA的指导下遵循确定性响应路径。DFA-LLM的优点包括通过人类可读的DFA可解释的结构、会话中响应的上下文检索，以及与现有LLM的即插即用兼容性。广泛的基准测试验证了DFA-LLM的有效性，表明其作为会话代理的宝贵贡献的潜力。

1 引言

2 问题设置

3 方法

4 实验结果

5 相关工作

6 结论

本文将大语言模型的适应性与定有限自动机的结构化方法相结合，提出了DFA增广大语言模型（DFA-LLM）。DFA结构可以从训练集中的对话中学习。整个框架确保了可靠的、上下文适当的响应，解决了当前LLM应用程序中的关键限制，特别是在客户服务等专业领域。进行了大量实验来验证DFA-LLM在生成相关