A Comprehensive Survey of Large Language Models and Multimodal Large Language Models in Medicine

最新推荐文章于 2026-01-09 16:00:52 发布
原创 最新推荐文章于 2026-01-09 16:00:52 发布 · 371 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #人工智能 #自然语言处理

本文是LLM系列文章，针对《A Comprehensive Survey of Large Language Models and Multimodal Large Language Models in Medicine》的翻译。

医学中大型语言模型和多模态大型语言模型的全面综述

摘要

自 ChatGPT 和 GPT-4 发布以来，大型语言模型 （LLM） 和多模态大型语言模型 （MLLM） 因其在理解、推理和生成方面强大而通用的能力而受到广泛关注，从而为人工智能与医学的整合提供了新的范式。本综述全面概述了 LLM 和 MLLM 的发展背景和原则，并探讨了它们在医学中的应用场景、挑战和未来方向。具体来说，这项调查首先关注范式转变，追溯从传统模型到 LLM 和 MLLM 的演变，总结模型结构以提供详细的基础知识。随后，该调查详细介绍了从构建和评估到使用 LLM 和 MLLM 的整个过程，逻辑清晰。在此之后，为了强调 LLM 和 MLLM 在医疗保健中的重要价值，我们调查并总结了 6 个有前途的医疗保健应用。最后，该调查讨论了医学 LLM 和 MLLM 面临的挑战，并为随后人工智能与医学的整合提出了可行的方法和方向。因此，本调查旨在从 LLM 和 MLLM 的背景、原则和临床应用的角度为研究人员提供有价值且全面的参考指南。

1 引言

2 LLM 和 MLLM 的背景

3 LLM 和 MLLM 的结构

4 医疗 LLM 和 MLLM 的构建

5 评估方法和使用技巧

6 LLMS 和 MLLM 在医学上的应用

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【大模型】大语言模型简介
04-03 2万+
因此，模型规模增长是必然趋势，当推进大模型规模不断增长的时候，涌现能力的出现会让任务的效果更加出色。有趣的是，当参数规模超过一定水平时，这些扩大的语言模型不仅实现了显着的性能提升，而且还表现出一些小规模语言模型所不具备的特殊能力。如 Google 发布的多模态具身视觉语言模型 PaLM-E，由540B 的 PaLM 文本模型和 22B 的 VIT 图像模型构成，两者集成处理多模态信息，所以它的总模型规模是 566B。随着模型规模的不断增长，任务效果也持续增长，说明这类任务对大模型中知识蕴涵的数量要求较高。
A Review of Multi-Modal Large Language and Vision Models
c_cpp_csharp的专栏
07-19 1490
大型语言模型（LLMs）最近已成为研究和应用的焦点，这得益于它们前所未有的理解和生成具有人类质量的文本的能力。最近，LLM已经扩展到多模态大型语言模型（MMLLM），这扩展了它们处理图像、视频和音频信息以及文本的能力。这打开了文本到视频生成、图像字幕、文本到语音等应用程序，可以通过将LLM改装为具有多模态功能或从头开始构建MM-LLM来实现。本文对具有多模态能力的LLM以及最近的MM LLM的现状进行了广泛的回顾。
Exploring the Reasoning Abilities of Multimodal Large Language Models (MLLMs): A Comprehensive Surve
weixin_74095289的博客
05-17 1378
推理要遵守的：推理规则，领域知识指令调优通常从仔细收集的数据集开始，该数据集包含数千个“指令，响应”对。在此过程中，LLM使用该数据集进行微调，以更好地将人类意图与模型行为保持一致。在多模态指令调整的背景下，数据集中的每个示例都由⟨X-模态、指令、响应⟩组成，其中X-模态通常表示图像、视频或音频。指令微调的损失函数如下缺点是：在指令调整阶段，大多数 MLLM 主要关注图像-文本对，这会逐渐导致 ICL 功能减弱。这归因于构建以 ICL 为中心的指令调整数据集的挑战。
LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(一)之序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力
GitHub质检员
12-08 3230
A Survey of Large Language Models》的翻译与解读地址时间2023年6月29日作者Abstract摘要本文介绍了大语言模型（LLMs）的研究进展(尤其是ChatGPT)，包括其背景、关键发现、主流技术以及未来发展方向，重点关注LLM的四个主要方面：预训练、适应调优、利用和容量评估。总结了开发LLMs的可用资源，并讨论了未来发展方向中的尚存问题。这份调查报告为研究人员和工程师提供了一个最新的LLMs文献综述资源。
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.05.10-2024.05.20
小小帅
05-29 2220
预训练+微调范式是在各种下游应用中部署大型语言模型（LLM）的基础。其中，Low-Rank Adaptation（LoRA）因其参数高效微调（PEFT）而脱颖而出，产生了大量现成的针对特定任务的 LoRA 适配程序。然而，这种方法需要明确的任务意图选择，这给推理过程中的自动任务感知和切换带来了挑战，因为现有的多个 LoRA 适配程序都嵌入了单个 LLM 中。在这项工作中，我们介绍了 MeteoRA（多任务嵌入式 LoRA），这是一个专为 LLM 设计的可扩展多知识 LoRA 融合框架。
LLM文章阅读：Baichuan 2 干货
低调奋进
09-07 626
LLM文章阅读：Baichuan 2 干货
【论文阅读】大模型和多模态大模型在医学中的应用综述
m0_61222152的博客
12-29 3534
大模型和多模态大模型在医学中的应用综述
笔记-《A Survey of Large Language Models》- 尾声
Working harder, getting stronger!
03-27 2579
Sutton, S.Schuh, K.Lomeli, L.Mann, E.Perez, N.5547–5569.[Online].[152] J.Austin, A.Odena, M.I.Nye, M.353–355.[177] P.V.ACM, 2022.559–578.Drain, S.Fort, D.4582–4597.Yih, Eds.8410–8423.[240] Q.Zhang, M.Chen, A.He, Y.Cheng, W.
多模态大模型 医学论文
07-12
1. **A Comprehensive Survey of Large Language Models and Multimodal Large Language Models in Medicine** 这篇综述文章系统地总结了大型语言模型（LLMs）和多模态大语言模型（MLLMs）在医学领域的最新进展，...
医学自然语言处理(NLP)相关论文汇总之 EMNLP 2021
qq_39352201的博客
12-24 3096
医学自然语言处理(NLP)相关论文汇总之 EMNLP 2021 【写在前面】EMNLP2021前段时间已经放榜，一直没时间整理，最近抽时间整理了一下该会议在医疗自然语言处理方向上的相关论文，放在这里，希望对大家有一定的帮助吧。还会继续更新，大家有兴趣的话可以持续关注。 更多关于中文医疗自然语言处理的资源和论文汇总，请访问我的GitHub相关主页https://github.com/FutureForMe/Chinese_Medical_Natural_Language_Processing。 文.
大模型的全面回顾，看透大模型 | A Comprehensive Overview of Large Language Models
大模型天花板
11-14 1602
大模型综述，太全面了，截至2023.11
强人工智能（Artificial General Intelligence，通用人工智能）论文目录
大模型天花板
11-24 5426
除此之外，还会考虑将一些相关的技术资料进行分享，例如计算机前沿的Transformer，GNN，DRL等等，还有人脑的大致结构，认知，记忆等不一定出现在论文的相关资料。论文主要来源于：2011年至今2021年乃至后面AGI大会上论文，其他AGI相关的零散优秀论文，脑神经科学中与认知心理学方面的论文。这里的内容包含非常地广，博主自己也是自己搜索相关的论文学习后，b站或其他平台大佬处学习后觉得对强人工智能有帮助的论文和资料进行分享。持续更新中，论文主要包括如下几个领域：计算机科学、脑神经科学、认知心理学等。
多模态大型语言模型综述：在不同任务中的性能和挑战（二）
qq_55923034的博客
11-23 1072
多模态模型通过整合文本和图像信息，实现更智能、更全面的理解和推理，在图像理解任务中发挥着至关重要的作用。在这个领域中，MiniGPT-4 [ 41 ]，[ 42 ]，InstructBLIP [ 43 ]和Wiki - LLaVA [ 44 ]是三个备受关注的模型，以及其他相关的模型，如3DMIT [ 45 ]，GroundingGPT [ 46 ]，ModaVerse [ 47 ]，Vary-toy [ 48 ]，LLaVAMOLE [ 49 ]和CogCom [ 50 ]。
Biomedical knowledge graph-enhanced prompt generation for large language models/生物医学知识图增强的大型语言模型提示生成
宝藏女孩的成长日记
04-10 2077
是一个与任务无关的框架，将知识图（KG）的显式知识与大型语言模型（LLM）的隐式知识相结合。 在这里，我们利用一个名为SPOKE的大型生物医学知识库作为生物医学环境的提供者。 SPOKE 整合了 40 多个来自不同领域的生物医学知识库，每个知识库都专注于生物医学概念，如基因、蛋白质、药物、化合物、疾病及其已建立的联系。 SPOKE 由 21 种不同类型的超过 2700 万个节点和 55 种类型的 5300 万条边组成 [参考] KG-RAG的主要特点是它从SPOKE KG
横琴-RA-v1：类风湿性关节炎诊疗中医药大模型 - 中医药广东省实验室、南方科技大学等
xiaoganbuaiuk的博客
01-10 1601
摘要=====大型语言模型（LLMs）主要基于英文文本训练，在中文语境中常常面临偏见和不准确的问题。在传统中医（TCM）等领域，其局限性尤为明显，因为文化和临床细节至关重要，同时缺乏特定领域的数据，如类风湿性关节炎（RA）。为解决这些问题，本文介绍了专为中医定制的首个大型语言模型——横琴-RA-v1，该模型专注于诊断和治疗RA。本文还提出了HQ-GCM-RA-C1，一个综合性的RA特定数据集，它从古代中医文献、经典文本和现代临床研究中精心挑选。
基于LangChain与RAG技术构建智能客服问答系统：完整实现指南
weixin_46244623的博客
01-08 969
本文介绍了基于LangChain框架和RAG技术的智能客服系统构建方法。该系统整合了Ollama本地语言模型服务和FAISS向量数据库，能够高效检索项目文档并生成准确回答。文章详细阐述了系统架构、核心组件及实现代码，包括知识库构建、文档检索和回答生成流程。该系统可显著提升客服效率，支持网络搜索、数学计算、节假日查询等多种功能，并提供了良好的可扩展性。通过本地部署Qwen2.5模型，实现了安全可靠的智能客服解决方案。
AI赋能金融科技，VisualProject引领项目管理新潮流
weixin_46916369的博客
01-06 561
金融科技项目管理迈入AI赋能新阶段，VisualProject引领智能化转型。随着金融科技竞争转向"体系化能力"，传统管理模式面临需求断层、资源失衡等痛点。维普时代推出的VisualProject通过AI深度融入项目全流程，实现智能需求解析、资源协同和风险预警，使招商银行等项目效率提升40%、延期率降至8%。该产品构建"数据驱动决策"体系，提供30余项核心指标分析，助力金融机构实现精准管理。未来，AI与项目管理的深度融合将持续推动金融科技高质量发展。
[20页中英文PDF]生物制药企业新一代知识管理：用知识图谱+大模型构建“第二大脑“
01-07 498
药物研发正面临知识爆炸的挑战。本文深入探讨如何利用大语言模型和知识图谱技术构建企业级"第二大脑"，将分散的科研数据、文献和隐性知识整合为可搜索的知识库，实现60%的文档审查效率提升，并可能为制药行业创造600-1100亿美元的年度价值。
Skills详解：AI Agent 的模块化能力扩展系统
最新发布
a18792721831的博客
01-09 918
Skills系统是AI Agent的模块化能力扩展方案，通过标准化方式将专业知识和操作流程打包为可复用模块。它采用分层架构设计，包含技能管理器、加载器和注册表等核心组件。系统创新性地使用渐进式加载机制，分为元数据、指令和资源三层，有效解决上下文窗口限制问题。Skills支持多维度智能匹配算法，通过语义、功能和优先级三个维度精准定位最适合的技能。相比传统插件系统，Skills更注重知识传递而非功能扩展，采用配置文件+资源包形式，维护成本更低。该系统适用于企业自动化、专业服务和开发工具链等场景，显著提升AI A
Model Composition for Multimodal Large Language Models代码复现
06-03
### 关于Model Composition for Multimodal Large Language Models的代码复现方法 Model Composition for Multimodal Large Language Models（多模态大语言模型的模型组合）涉及将不同类型的模态（如文本、图像、音频等）整合到一个统一的框架中。以下是一个实现多模态大语言模型组合的基本方法和示例代码[^1]。 #### 1. 模型架构设计 多模态模型通常需要设计一个能够同时处理多种输入类型的核心架构。例如，使用Transformer作为基础架构，并通过特定的编码器对不同模态进行预处理[^1]。 ```python import torch from transformers import AutoTokenizer, AutoModel # 初始化文本和图像编码器 text_encoder = AutoModel.from_pretrained("bert-base-uncased") image_encoder = torch.nn.Sequential( torch.nn.Linear(256, 768), # 假设图像特征维度为256 torch.nn.ReLU() ) # 定义一个多模态组合模型 class MultimodalModel(torch.nn.Module): def __init__(self, text_encoder, image_encoder): super(MultimodalModel, self).__init__() self.text_encoder = text_encoder self.image_encoder = image_encoder self.combination_layer = torch.nn.Linear(768 * 2, 768) # 组合层 def forward(self, text_inputs, image_inputs): text_features = self.text_encoder(**text_inputs).last_hidden_state[:, 0, :] # CLS token image_features = self.image_encoder(image_inputs) combined_features = torch.cat([text_features, image_features], dim=1) output = self.combination_layer(combined_features) return output model = MultimodalModel(text_encoder, image_encoder) ``` #### 2. 数据预处理 为了实现多模态模型的训练和推理，需要对不同模态的数据进行标准化处理。例如，文本数据可以通过BERT tokenizer进行分词和编码，而图像数据可以使用卷积神经网络提取特征。 ```python from PIL import Image from torchvision import transforms # 文本预处理 tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased") text = "A cat sitting on a mat." text_inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True) # 图像预处理 image = Image.open("cat_on_mat.jpg") transform = transforms.Compose([ transforms.Resize((64, 64)), transforms.ToTensor() ]) image_inputs = transform(image).unsqueeze(0) # 添加批次维度 ``` #### 3. 模型训练与评估 在训练阶段，可以使用交叉熵损失或其他适合任务的损失函数来优化模型参数。以下是一个简单的训练循环示例[^1]。 ```python from torch.optim import Adam # 定义优化器和损失函数 optimizer = Adam(model.parameters(), lr=1e-5) criterion = torch.nn.CrossEntropyLoss() # 假设标签为分类任务的类别索引 labels = torch.tensor([1]).unsqueeze(0) # 示例标签 # 训练步骤 model.train() output = model(text_inputs, image_inputs) loss = criterion(output, labels) loss.backward() optimizer.step() optimizer.zero_grad() ``` #### 4. 模型推理 在推理阶段，可以直接使用训练好的模型对新的多模态数据进行预测。 ```python model.eval() with torch.no_grad(): predictions = model(text_inputs, image_inputs) print(predictions) ``` ### 注意事项 - 在实际应用中，可能需要根据具体任务调整模型架构和超参数。 - 多模态数据的对齐和融合是关键挑战之一，可能需要引入注意力机制或跨模态对齐技术。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值