Improving Medical Reasoning through Retrieval and Self-Reflection

本文是LLM系列文章，针对《Improving Medical Reasoning through Retrieval and Self-Reflection with Retrieval-Augmented Large Language Models》的翻译。

摘要

最近的专有大型语言模型（LLM），如GPT-4，在应对生物医学领域的各种挑战方面取得了里程碑式的成就，从多项选择题到长形式生成。为了解决LLM的编码知识仍然无法处理的挑战，已经开发了各种检索增强生成（RAG）方法，通过从知识库中搜索文档并无条件地或选择性地将它们附加到LLM的输入以进行生成。然而，当将现有方法应用于不同领域的特定问题时，泛化能力差变得明显，导致获取不正确的文档或做出不准确的判断。在本文中，我们介绍了Self-BioRAG，这是一个可靠的生物医学文本框架，专门用于生成解释、检索特定领域的文档和自我反映生成的响应。我们利用84k个过滤的生物医学指令集来训练Self-BioRAG，该指令集可以使用定制的反射token来评估其生成的解释。我们的工作证明了特定于领域的组件，如检索器、与领域相关的文档语料库和指令集，对于遵守与领域有关的指令是必要的。使用三个主要的医学问答基准数据集，Self-BioRAG的实验结果表明，与参数大小为7B或更小的最先进的开放式基础模型相比，平均实现了7.2%的绝对改进，从而显著提高了性能。总的来说，我们分析了Self-BioRAG发现问题中的线索，在需要时检索相关文档，并了解如何像医学专家一样使用检索到的文档和编码知识中的信息进行回答。我们发布了用于训练框架组件和模型权重（7B和13B）的数据和代码，以增强生物医学和临床领域的能力。

1 引言

2 背景

3 Self-BioRAG

4 实验细节