A Scalable and Adaptable Medical Domain Knowledge Injection Framework for Large Language Models

UnknownBody

于 2024-03-09 09:51:59 发布

阅读量75

点赞数

分类专栏： LLM for Medical 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136567200

版权

LLM 日更同时被 2 个专栏收录

828 篇文章

已下架不支持订阅

LLM for Medical

56 篇文章

订阅专栏

本文提出SA-MDKIF，一个用于大型语言模型的可扩展和适应性强的医学领域知识注入框架。通过两阶段的技能训练和适应，提升LLM在医学任务中的性能，实现在9种不同医疗任务上平均10-20%的性能提升，尤其在未见过的任务中提高可达30%。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《SA-MDKIF: A Scalable and Adaptable Medical Domain Knowledge
Injection Framework for Large Language Models》的翻译。

摘要

大型语言模型（LLM）的最新进展在各种自然语言处理（NLP）任务中表现出了卓越的性能。然而，由于缺乏医学领域的知识，它们在医学领域的有效应用受到了阻碍。在这项研究中，我们提出了SA-MDKIF，这是一个可扩展和适应性强的框架，旨在通过指令调整将医学知识注入通用LLM，从而实现对各种下游任务的适应性。SAMDKIF包括两个阶段：技能训练和技能适应。在第一阶段，我们定义了12项基本医疗技能，并使用AdaLoRA基于我们构建的统一格式的指令数据集来训练这些技能。在下一阶段，我们使用特定于任务的下游数据来训练技能路由器，并在推理过程中使用该路由器将所获得的技能与LLM集成。在9种不同医疗任务上的实验结果表明，与原始LLM相比，SA-MDKIF的性能提高了10-20%。值得注意的是，这种改善在看不见的医疗任务中尤为明显，显示出高达30%的改善。