MIRAGE：一个基于医学搜索增强生成（RAG）的框架

最新推荐文章于 2025-05-21 18:30:00 发布

原创最新推荐文章于 2025-05-21 18:30:00 发布 · 1.8k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #python #算法

AI助力科研专栏收录该内容

74 篇文章

订阅专栏

MIRAGE是一个用于评估医学问答RAG系统的基准，通过MedRAG工具包，它显著提升了大语言模型在医学任务中的准确性，特别是在减少幻觉和过时信息方面。研究者发现，选择合适的语料库和搜索器对RAG性能至关重要，且MedRAG展示了零样本学习的潜力。

部署运行你感兴趣的模型镜像

MIRAGE：一个基于搜索增强生成（RAG）的框架，旨在提高医学问答（QA）任务中的性能。

虽然大型语言模型 (LLM) 在广泛的医学问答 (QA) 任务中取得了最先进的性能，但它们仍然面临着幻觉和过时知识的挑战。检索增强生成（RAG）是一种很有前途的解决方案，并已被广泛采用。然而，RAG 系统可能涉及多个灵活的组件，并且缺乏有关各种医疗目的的最佳 RAG 设置的最佳实践。

为了系统地评估此类系统，我们提出了医学信息检索增强生成评估（MIRAGE），这是一个首创的基准，包括来自五个医学 QA 数据集的 7,663 个问题。使用MIRAGE，我们通过本工作中引入的 MedRag工具包对不同语料库、检索器和骨干 LLM 的 41 种组合进行了超过 1.8 万亿个提示标记的大规模实验。

MIRAGE的核心思想是利用最新可信的文档信息来辅助大语言模型（LLM），以减少生成错误信息（幻觉现象）并提升答案的准确性和可靠性。在使用MedRAG后，某些模型的性能提升至与GPT-4相当的水平。

MIRAGE主要功能包括：

1、增强医学问答准确性：通过检索增强生成（RAG）技术，MEDRAG训练利用最新可靠的医学文档信息来辅助大型语言模型（LLM），提高医学问答任务中的准确性和可靠性。这种方法减少了因模型数据限制而

2、系统性评估医学RAG系统性能：MIRAGE基准为医学问答领域的检索增强生成（RAG）系统提供了一个系统性评估平台。通过包含来自五个医学QA数据集的7,663问题，它允许研究人员和开发人员全面测试和比较不同RAG系统的性能。这种评估有助于识别哪些方法在处理医学信息时最有效，特别是在准确性和可靠性方面。

3、提供医学专用工具包：MEDRAG工具包集成了多个领域特定的语言资料库、搜索器和法学硕士，支持研究人员在医学问答任务上进行全面的实验和评估。这些组件包括专门为医学领域设计的文档库、针对医学信息优化的搜索算法以及适用于医学问答的LLM。

4、零样本学习能力：MEDRAG特别关注RAG系统的零样本（零样本）学习能力，即在没有给出具体例子的情况下，系统能够解答新的、未见过的医学问题。这对于医学领域尤为重要，因为新的医疗知识和数据持续支持。通过提高系统的零样本学习能力，可以确保医学问答系统即使在缺乏特定数据的情况下情况下也能提供准确的答案。显着提高了系统在实际应用中的灵活性和有效性。

实验结果：

LLMs比较：在CoT设置中，其他后备LLMs的最佳平均得分行走约61%（GPT） -3.5和Mixtral），而通过MedRAG，它们的性能可以显着提高到约70%，与GPT-4（CoT）相当。这些结果展示了RAG在增强LLM回答医学问题的零样本能力方面的巨大潜力，这可能是一种比进行更大规模预训练更有效的选择。