Me LLaMA: Foundation Large Language Models for Medical Applications

UnknownBody

于 2024-04-05 14:22:14 发布

阅读量158

点赞数

分类专栏： LLM for Medical 文章标签： llama 语言模型人工智能

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137399942

版权

LLM 日更同时被 2 个专栏收录

828 篇文章

已下架不支持订阅

LLM for Medical

56 篇文章

订阅专栏

Me LLaMA是专为医疗应用设计的大型语言模型系列，通过在大量医学数据上训练和调整LLaMA2，提高了在医疗任务中的性能。模型在新医疗评估基准MIBE上展现出优秀的零样本、小样本和监督学习能力，与ChatGPT表现接近，但在某些方面仍不及GPT-4。Me LLaMA在缓解灾难性遗忘问题上优于其他开源医学LLM，是医疗人工智能领域的一个强大选择。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《Me LLaMA: Foundation Large Language Models for Medical Applications》的翻译。

摘要

最近的大型语言模型（LLM），如ChatGPT和LLaMA，在许多人工智能应用中显示出了巨大的前景。然而，它们在医疗任务上的性能是次优的，可以通过在广泛的特定领域数据集上进行训练来提高。本研究介绍了Me LLaMA，这是一个医学LLM家族，包括基础模型-Me LLaMA 13/70B，以及它们的高级版本-Me LLa MA 13/70B聊天，通过使用大型医学数据集对LLaMA2进行持续的预训练和指令调整而开发。我们用于训练和评估的特定领域数据套件包括一个具有129B个标记的大规模、连续的预训练数据集、一个具有214k个样本的指令调整数据集，以及一个跨六个任务（具有12个数据集）的新医疗评估基准（MIBE）。我们使用MIBE进行的广泛评估表明，Me-LLaMA模型在零样本、小样本和监督学习能力方面比现有开源医学LLM实现了更好的总体性能。在8个数据集中，有7个数据集的零样本性能与ChatGPT相当，差异在3%以内，但与GPT-4相比仍有不足。此外，我们调查了灾难性遗忘问题，结果表明，在缓解这一问题方面，Me LLaMA模型优于其他开源医学LLM。Me LLaMA是

了解本专栏