Using multi-agent architecture to mitigate the risk of LLM hallucinations

文章主要内容总结

本文聚焦于大型语言模型（LLMs）在客户服务中应用时的幻觉风险问题，提出了一种结合多智能体架构与模糊逻辑的解决方案，以处理客户通过SMS发送的请求（如处方续期指令）并减轻幻觉带来的风险。

1. 研究背景：LLMs在提升客户服务效率、减少响应时间方面表现显著（如Comcast案例），但幻觉问题（生成虚假信息）可能导致法律纠纷和客户损失，因此需针对性缓解。
2. 核心架构：设计了多智能体系统，包括：
   • Orchestration Agent：处理传入SMS，动态创建代理服务解析消息，提取关键词（如“续期”“停止”）并生成置信度（模糊变量）。
   • Arbitrator Agent：协调下游代理（如Evaluator Agent、LLM Agent、Validator Agent），基于置信度和客户重要性（模糊变量）决定处理策略。
   • Validator Agent：通过对比规则解析代理（RA）与LLM代理的输出检测关键词幻觉，交叉验证不同LLM（Gemini与ChatGPT）对投诉和请求的提取结果，评估风险并决定是否需要客户确认。
3. 测试结果：通过10条样本SMS消息测试，系统能有效识别部分幻觉案例，根据风险类型采取缓解策略，但全面评估需在生产环境中进一步验证。

文章创新点