Using multi-agent architecture to mitigate the risk of LLM hallucinations

文章主要内容总结

本文聚焦于大型语言模型（LLMs）在客户服务场景中应用时的“幻觉”风险（即生成虚假信息），提出了一种基于多智能体架构结合模糊逻辑的系统，用于处理客户通过SMS发送的请求（如处方续药、服务调整等）。

• 背景：LLMs能提升客户服务的个性化、效率和响应速度（如Comcast案例节省10%交互时间），但幻觉风险可能导致法律纠纷（如航空公司、保险公司因AI错误建议被追责），阻碍其广泛应用。
• 系统架构：设计了包含多个专用智能体的协作系统，核心组件包括：
  • 编排智能体（Orchestration Agent）：处理 incoming SMS，动态创建服务智能体，分配任务给续药智能体（Renewal Agent, RA）。
  • RA：基于解析技术提取关键词（确保100%准确但可能不完整），生成“置信度”模糊变量（反映对消息的理解程度）。
  • 仲裁智能体（Arbitrator Agent）：协调评估智能体（Evaluator Agent, EA）、客户关系智能体（CRA）等，结合“客户重要性”（模糊变量）和RA的置信度决定处理策略。
  • LLM智能体（LLM Agent）：利用Gemini/ChatGPT解析自然语言，提取关键词、请求及投诉。
  • 验证智能体（Validator Agent）：通过对比RA与LLM Agent的输出（检测虚假关键词）、LLM间互检（评估请求/投诉准确性），缓解幻觉风险。
• 实验与结果：测