A Comprehensive Survey of Large Language Models and Multimodal Large Language Models in Medicine

最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量347 收藏
点赞数 2
CC 4.0 BY-SA版权
分类专栏： LLM Daily Survey Paper LLM for Medical 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/141992483

本文是LLM系列文章，针对《A Comprehensive Survey of Large Language Models and Multimodal Large Language Models in Medicine》的翻译。

医学中大型语言模型和多模态大型语言模型的全面综述

摘要

自 ChatGPT 和 GPT-4 发布以来，大型语言模型 （LLM） 和多模态大型语言模型 （MLLM） 因其在理解、推理和生成方面强大而通用的能力而受到广泛关注，从而为人工智能与医学的整合提供了新的范式。本综述全面概述了 LLM 和 MLLM 的发展背景和原则，并探讨了它们在医学中的应用场景、挑战和未来方向。具体来说，这项调查首先关注范式转变，追溯从传统模型到 LLM 和 MLLM 的演变，总结模型结构以提供详细的基础知识。随后，该调查详细介绍了从构建和评估到使用 LLM 和 MLLM 的整个过程，逻辑清晰。在此之后，为了强调 LLM 和 MLLM 在医疗保健中的重要价值，我们调查并总结了 6 个有前途的医疗保健应用。最后，该调查讨论了医学 LLM 和 MLLM 面临的挑战，并为随后人工智能与医学的整合提出了可行的方法和方向。因此，本调查旨在从 LLM 和 MLLM 的背景、原则和临床应用的角度为研究人员提供有价值且全面的参考指南。

1 引言

2 LLM 和 MLLM 的背景

3 LLM 和 MLLM 的结构

4 医疗 LLM 和 MLLM 的构建

5 评估方法和使用技巧

6 LLMS 和 MLLM 在医学上的应用

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【大模型】大语言模型简介
AI天才研究院
04-03 2万+
因此，模型规模增长是必然趋势，当推进大模型规模不断增长的时候，涌现能力的出现会让任务的效果更加出色。有趣的是，当参数规模超过一定水平时，这些扩大的语言模型不仅实现了显着的性能提升，而且还表现出一些小规模语言模型所不具备的特殊能力。如 Google 发布的多模态具身视觉语言模型 PaLM-E，由540B 的 PaLM 文本模型和 22B 的 VIT 图像模型构成，两者集成处理多模态信息，所以它的总模型规模是 566B。随着模型规模的不断增长，任务效果也持续增长，说明这类任务对大模型中知识蕴涵的数量要求较高。
Exploring the Reasoning Abilities of Multimodal Large Language Models (MLLMs): A Comprehensive Surve
weixin_74095289的博客
05-17 1334
推理要遵守的：推理规则，领域知识指令调优通常从仔细收集的数据集开始，该数据集包含数千个“指令，响应”对。在此过程中，LLM使用该数据集进行微调，以更好地将人类意图与模型行为保持一致。在多模态指令调整的背景下，数据集中的每个示例都由⟨X-模态、指令、响应⟩组成，其中X-模态通常表示图像、视频或音频。指令微调的损失函数如下缺点是：在指令调整阶段，大多数 MLLM 主要关注图像-文本对，这会逐渐导致 ICL 功能减弱。这归因于构建以 ICL 为中心的指令调整数据集的挑战。
LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(一)之序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力
GitHub质检员
12-08 3108
A Survey of Large Language Models》的翻译与解读地址时间2023年6月29日作者Abstract摘要本文介绍了大语言模型（LLMs）的研究进展(尤其是ChatGPT)，包括其背景、关键发现、主流技术以及未来发展方向，重点关注LLM的四个主要方面：预训练、适应调优、利用和容量评估。总结了开发LLMs的可用资源，并讨论了未来发展方向中的尚存问题。这份调查报告为研究人员和工程师提供了一个最新的LLMs文献综述资源。
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.05.10-2024.05.20
小小帅
05-29 2155
预训练+微调范式是在各种下游应用中部署大型语言模型（LLM）的基础。其中，Low-Rank Adaptation（LoRA）因其参数高效微调（PEFT）而脱颖而出，产生了大量现成的针对特定任务的 LoRA 适配程序。然而，这种方法需要明确的任务意图选择，这给推理过程中的自动任务感知和切换带来了挑战，因为现有的多个 LoRA 适配程序都嵌入了单个 LLM 中。在这项工作中，我们介绍了 MeteoRA（多任务嵌入式 LoRA），这是一个专为 LLM 设计的可扩展多知识 LoRA 融合框架。
LLM文章阅读：Baichuan 2 干货
低调奋进
09-07 620
LLM文章阅读：Baichuan 2 干货
【论文阅读】大模型和多模态大模型在医学中的应用综述
m0_61222152的博客
12-29 3414
大模型和多模态大模型在医学中的应用综述
笔记-《A Survey of Large Language Models》- 尾声
Working harder, getting stronger!
03-27 2478
Sutton, S.Schuh, K.Lomeli, L.Mann, E.Perez, N.5547–5569.[Online].[152] J.Austin, A.Odena, M.I.Nye, M.353–355.[177] P.V.ACM, 2022.559–578.Drain, S.Fort, D.4582–4597.Yih, Eds.8410–8423.[240] Q.Zhang, M.Chen, A.He, Y.Cheng, W.
多模态大模型 医学论文
07-12
1. **A Comprehensive Survey of Large Language Models and Multimodal Large Language Models in Medicine** 这篇综述文章系统地总结了大型语言模型（LLMs）和多模态大语言模型（MLLMs）在医学领域的最新进展，...
医学自然语言处理(NLP)相关论文汇总之 EMNLP 2021
qq_39352201的博客
12-24 3067
医学自然语言处理(NLP)相关论文汇总之 EMNLP 2021 【写在前面】EMNLP2021前段时间已经放榜，一直没时间整理，最近抽时间整理了一下该会议在医疗自然语言处理方向上的相关论文，放在这里，希望对大家有一定的帮助吧。还会继续更新，大家有兴趣的话可以持续关注。 更多关于中文医疗自然语言处理的资源和论文汇总，请访问我的GitHub相关主页https://github.com/FutureForMe/Chinese_Medical_Natural_Language_Processing。 文.
大模型的全面回顾，看透大模型 | A Comprehensive Overview of Large Language Models
大模型天花板
11-14 1557
大模型综述，太全面了，截至2023.11
强人工智能（Artificial General Intelligence，通用人工智能）论文目录
大模型天花板
11-24 5350
除此之外，还会考虑将一些相关的技术资料进行分享，例如计算机前沿的Transformer，GNN，DRL等等，还有人脑的大致结构，认知，记忆等不一定出现在论文的相关资料。论文主要来源于：2011年至今2021年乃至后面AGI大会上论文，其他AGI相关的零散优秀论文，脑神经科学中与认知心理学方面的论文。这里的内容包含非常地广，博主自己也是自己搜索相关的论文学习后，b站或其他平台大佬处学习后觉得对强人工智能有帮助的论文和资料进行分享。持续更新中，论文主要包括如下几个领域：计算机科学、脑神经科学、认知心理学等。
A Review of Multi-Modal Large Language and Vision Models
c_cpp_csharp的专栏
07-19 1474
大型语言模型（LLMs）最近已成为研究和应用的焦点，这得益于它们前所未有的理解和生成具有人类质量的文本的能力。最近，LLM已经扩展到多模态大型语言模型（MMLLM），这扩展了它们处理图像、视频和音频信息以及文本的能力。这打开了文本到视频生成、图像字幕、文本到语音等应用程序，可以通过将LLM改装为具有多模态功能或从头开始构建MM-LLM来实现。本文对具有多模态能力的LLM以及最近的MM LLM的现状进行了广泛的回顾。
多模态大型语言模型综述：在不同任务中的性能和挑战（二）
qq_55923034的博客
11-23 1021
多模态模型通过整合文本和图像信息，实现更智能、更全面的理解和推理，在图像理解任务中发挥着至关重要的作用。在这个领域中，MiniGPT-4 [ 41 ]，[ 42 ]，InstructBLIP [ 43 ]和Wiki - LLaVA [ 44 ]是三个备受关注的模型，以及其他相关的模型，如3DMIT [ 45 ]，GroundingGPT [ 46 ]，ModaVerse [ 47 ]，Vary-toy [ 48 ]，LLaVAMOLE [ 49 ]和CogCom [ 50 ]。
Biomedical knowledge graph-enhanced prompt generation for large language models/生物医学知识图增强的大型语言模型提示生成
宝藏女孩的成长日记
04-10 2012
是一个与任务无关的框架，将知识图（KG）的显式知识与大型语言模型（LLM）的隐式知识相结合。 在这里，我们利用一个名为SPOKE的大型生物医学知识库作为生物医学环境的提供者。 SPOKE 整合了 40 多个来自不同领域的生物医学知识库，每个知识库都专注于生物医学概念，如基因、蛋白质、药物、化合物、疾病及其已建立的联系。 SPOKE 由 21 种不同类型的超过 2700 万个节点和 55 种类型的 5300 万条边组成 [参考] KG-RAG的主要特点是它从SPOKE KG
横琴-RA-v1：类风湿性关节炎诊疗中医药大模型 - 中医药广东省实验室、南方科技大学等
xiaoganbuaiuk的博客
01-10 1556
摘要=====大型语言模型（LLMs）主要基于英文文本训练，在中文语境中常常面临偏见和不准确的问题。在传统中医（TCM）等领域，其局限性尤为明显，因为文化和临床细节至关重要，同时缺乏特定领域的数据，如类风湿性关节炎（RA）。为解决这些问题，本文介绍了专为中医定制的首个大型语言模型——横琴-RA-v1，该模型专注于诊断和治疗RA。本文还提出了HQ-GCM-RA-C1，一个综合性的RA特定数据集，它从古代中医文献、经典文本和现代临床研究中精心挑选。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 212
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 333
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 545
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 202
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
MDPO：Conditional Preference Optimization for Multimodal Large Language Models
08-21
### MDPO（Multimodal Diffusion Policy Optimization）及其在多模态大语言模型中的应用 MDPO（Multimodal Diffusion Policy Optimization）是一种面向多模态大语言模型的优化方法，旨在通过扩散模型（Diffusion Models）的思想，对多模态数据进行策略优化，以提高模型在复杂任务中的生成能力和决策能力。该方法通常结合了扩散模型在图像生成中的强大能力与多模态大语言模型在文本和视觉信息处理中的优势，从而实现跨模态的感知与生成。 在多模态大语言模型中，MDPO的应用主要体现在以下几个方面： 1. **多模态任务的策略优化** MDPO通过扩散模型的迭代优化机制，逐步生成高质量的多模态输出。例如，在图像-文本联合生成任务中，MDPO能够通过扩散过程逐步优化文本描述与图像内容的对齐，从而提升生成结果的准确性和一致性。 2. **交互式感知与生成** 在交互式多模态任务中，例如视觉对话或图像编辑，MDPO可以作为策略优化工具，通过逐步调整模型的输出策略，使其更符合用户的交互意图。这种方法能够显著提高模型在动态交互环境中的适应性[^1]。 3. **跨模态对齐与推理** MDPO还能够通过扩散模型的逆向过程，对多模态输入进行推理，从而在跨模态检索或问答任务中提供更精确的结果。例如，在视觉问答（VQA）任务中，MDPO可以通过优化策略，提高模型对图像和问题之间的语义关联理解能力。 4. **强化学习与扩散模型的结合** MDPO借鉴了强化学习中的策略优化思想，并将其与扩散模型的生成能力相结合。这种结合使得多模态大语言模型能够在生成过程中引入更复杂的决策机制，从而提升其在复杂任务中的表现。 ### 示例代码 以下是一个简化版的扩散模型策略优化框架的伪代码示例，用于多模态任务中的生成优化： ```python def mdpo_optimization(multimodal_input, diffusion_steps): # 初始化扩散模型参数 noise_schedule = create_noise_schedule(diffusion_steps) # 对多模态输入进行编码 encoded_input = encode_multimodal(multimodal_input) # 执行扩散过程 for step in range(diffusion_steps): # 添加噪声 noisy_input = add_noise(encoded_input, noise_schedule[step]) # 使用扩散模型预测噪声 predicted_noise = diffusion_model(noisy_input) # 优化策略并更新输入 encoded_input = update_strategy(encoded_input, predicted_noise) # 解码生成结果 generated_output = decode_multimodal(encoded_input) return generated_output ``` 上述代码展示了MDPO在多模态任务中的基本流程，包括噪声添加、扩散模型预测和策略优化等步骤。 ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值