基础模型(Foundation Model)：医疗人工智能研究的新质生产力

最新推荐文章于 2025-02-25 08:15:00 发布

Python编程杰哥

最新推荐文章于 2025-02-25 08:15:00 发布

阅读量1.2k

点赞数 24

文章标签：人工智能设计模式语言模型自然语言处理 transformer

本文链接：https://blog.youkuaiyun.com/xx_nm98/article/details/144435686

版权

过去几年，文本、图像、视频和其他形式的人工智能 (AI) 取得了一系列令人眼花缭乱的进步。GPT-4、BLOOM 和 Stable Diffusion 凭借其写诗、总结文章、解决数学问题以及将文本描述转换为图像甚至视频的能力吸引了公众的想象力。同样医学领域的基础模型也呈现出百花齐放的姿态，无论是病理[1-5]、放射图像[7]、超声[6]、多模态领域[8]都有相关的研究工作发表。基础模型在支撑人工智能创新方面的作用日益重要,已经成为支撑医疗人工智能发展的新质生产力。掌握基础模型的概念和使用方法对于从事医疗智能研究来说尤为重要。

在本文中，我们将讨论基础模型的基本概念、在医疗领域的应用以及基础模型为医疗领域人工智能下一步发展提供的关键动力。

1. 什么是基础模型

“基础模型”是由Bommasani 等人于 2021 年创造[10]，用于识别一类借鉴深度学习经典思想的人工智能模型，基础模型与普通深度模型主要有两个方面的区别：

从大量未标记数据中学习：以前的深度学习方法需要从大量手动标记的数据集中学习才能达到较高的分类准确率。例如，早期的皮肤癌和糖尿病视网膜病变分类深度学习模型需要近 130,000 张临床医生标记的图像。基础模型在称为“预训练”的过程中使用了自我监督学习_的进步，该过程涉及一个简单的学习目标，例如预测句子中的下一个单词或重建图像中被遮盖的像素块。
具有更好的泛化能力：基础模型在预训练期间学习有用的模式，并将该信息编码为一组模型权重。然后，这个预训练模型作为通过迁移学习快速适应新任务的基础。

2. 基础模型有哪些好处？

基础模型在医疗领域中所起的作用越来越大，尤其是在医疗人工智能方面。众所周知，在进行医疗人工智能建模时，最关键的就是数据量，相较于其他数据，医疗数据的规模更小、数据私密性更强。而通过基础模型，可以大大降低研发人工智能模型的数据需求，可以帮助缩小医疗领域的人工智能鸿沟。总体看来，基础模型对于医疗人工智能领域来说有以下几个方面的益处：

2.1. 更少的标注数据

在医疗领域，模型通常针对单一目的（如败血症预测）进行训练，并以可随处安装的软件形式分发。这些模型经过训练，可接受特定的输入来执行分类或预测任务。但模型通常泛化能力较差，这限制医疗模型的应用。由于需要针对特定患者群体和使用模型的医院重新训练每个模型，因此会给 AI 的使用带来成本、复杂性和人员障碍。这时，基础模型可以提供一种机制，可以快速且廉价地调整模型以供本地使用。基础模型不是专注于单一任务，而是从未标记的数据中捕获广泛的知识。然后，从业者可以调整现有的基础模型，而不是从头开始训练模型，这一过程需要的标记训练数据要少得多。例如，使用预训练的医学影像分割基础模型Med SAM[11]，在少量特定临床应用问题的数据上进行微调，即可完成分割任务。大型基础模型的变体甚至可以仅使用一个训练示例就可以实现强大的性能。

2.2. 模块化、可重复使用且强大的人工智能

基础模型的训练成本高昂，但很容易适应新任务，因此共享模型使开发者社区能够在现有工作的基础上进行构建并加速创新。使用共享基础模型还可以让社区更好地评估这些模型的局限性、偏见和其他缺陷。近年来，病理、放射影像、分割、诊断和检测等各类基础模型的发布，正是这一趋势的尝试。

2.3. 使多模态成为新常态

当今的医疗 AI 模型通常使用单一输入模态，例如医学图像、临床记录或 ICD 代码等结构化数据。然而，医疗数据本质上是多模态的，包含提供者的记录、账单代码、实验室数据、图像、生命体征以及越来越多的基因组测序、可穿戴设备等。基础模型可以在训练过程中结合多种模态。稳定扩散等模型的许多令人惊叹的科幻能力都是从语言和图像中学习的产物。从医疗数据中表示多种模态的能力不仅可以更好地表示患者状态以供下游应用使用，而且还为与人工智能的交互开辟了更多途径。临床医生可以使用自然语言描述异常来查询医学影像数据库，或使用描述来生成具有反事实病理的合成医学图像。

2.4. 人机协作的新界面

当前的医疗保健 AI 模型通常会生成输出，然后呈现给临床医生，而临床医生在查询和优化模型输出方面的选择有限。基础模型为与 AI 模型交互提供了新的机会，包括自然语言界面和参与对话的能力。通过构建自然语言指令集合，我们可以通过_指令调整_来微调模型，以提高泛化能力。在高质量的教学数据集上进行训练似乎是 ChatGPT 和较小的开放语言模型的许多令人惊讶的能力背后的秘密。事实上，OpenAI 已经发布了专家 AI 教师的招聘信息，他们可以帮助向下一代 GPT 模型传授专业领域的知识。

2.5. 降低医院开发、部署和维护人工智能的成本

目前“医疗保健领域的人工智能”模式是不可持续的，即开发、部署和维护单个临床任务的分类器或预测模型的成本高昂。显然，我们需要一个更好的模式，而不是一个模型、一个数据提取、每个用例一个项目，而是专注于创建构建成本更低、具有可重复使用部件、可以处理多种数据类型并能适应底层数据变化的模型。通过 API 提供基础模型以支持后续特定任务模型的开发可以显著改变医疗保健领域训练模型的成本结构。通过 API 广泛共享的基础模型有可能提供这种能力以及检查推动其他领域创新的新兴行为的灵活性。通过减少训练模型所需的时间和精力，我们可以专注于确保模型的使用能够公平分配资源，从而有可能显著改善临床护理和效率，并为医疗保健领域的人工智能创建一个新的、强大的框架。采用基础模型是实现这一最终愿景的一条有希望的道路。

3. 总结与讨论

过去一年是医疗领域基础模型井喷的一年，大量的病理、放射影像、光学图像、分割、诊断的基础模型相关的研究工作发表出来。本文的大体框架译自参考文献[12],但是由于该文是在2022年写的，因此有很多内容已经过时，所以笔者在保持文献大体结构不变的情况下，根据目前基础模型发展情况对其进行了翻译和重写。在笔者看来，对于基础模型，有几点我们需要明确：

基础模型对临床研究十分有用，基于基础模型来微调几乎是个人和中小研究团队在构建预测和分类模型时的必经途径；
个人从零开始训练基础模型，无论从数据还是从机器资源来说都不现实。所以我们最需要了解的是站在巨人的肩膀上。利用其他大团队公开的基础模型根据个人研究的特定化临床问题进行微调。

本文只是对基础模型的大致介绍，而对医疗领域各细分领域基础模型的应用才是我们应该关注的重点，因此，在后续我们将会陆续的分享以下几个主题的文章：

病理图像基础模型；
放射图像基础模型；
医疗VLM基础模型；
医疗LLLM基础模型；
基础模型使用实例；

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述