An Active Inference Strategy for Prompting Reliable Responses from Large Language Models in Medical

本文是LLM系列文章，针对《An Active Inference Strategy for Prompting Reliable Responses from Large Language Models in Medical Practice》的翻译。

摘要

人工智能大语言模型 (LLM) 的不断进步提供了在许多情况下直观访问和使用医学知识的重要能力，包括教育和培训以及评估和治疗。大多数关于医学LLM的最初文献都强调LLM不适合医疗用途，因为它们具有不确定性，可能提供不正确或有害的反应，并且无法进行监管以确保质量控制。如果这些问题能够得到纠正，优化LLM技术可以通过提供负担得起的即时医疗知识来使患者和医生受益。我们提出的框架通过将其主要知识库限制为包含经过验证的医疗信息的特定领域数据集来完善LLM的响应。此外，我们引入了基于人类认知的主动推理原理的演员评论家 LLM 提示协议，其中治疗师代理最初响应患者的询问，主管代理评估和调整响应以确保准确性和可靠性。我们进行了一项验证研究，失眠认知行为治疗专家 (CBT-I) 治疗师以盲法方式评估了LLM的反应。经验丰富的人类 CBT-I 治疗师评估了对 100 名患者询问的答复，将 LLM 生成的答复与经验丰富的 CBT-I 治疗师精心设计的适当和不适当的答复进行比较。结果显示，LLM 的反应得到了 CBT-I 治疗师的高度评价，通常超过了治疗师做出的适当反应。这种结构化方法旨在将先进的LLM技术整合到医疗应用中，满足在医学领域安全有效地使用经特殊用途验证的LLM的监管要求。

1 引言

2 方式