引言
今天小医和大家来聊聊AI医疗领域一个非常硬核且意义重大的方向——AI病理诊断大模型。病理诊断被誉为疾病诊断的“金标准”,但传统模式下,病理医生培养周期长、工作负荷大,且存在一定的主观性。现在,中国的AI力量正试图用“大模型”这把利器,为病理诊断带来一场智慧革命!
近两年,国内多家顶尖医疗机构和科技企业纷纷发布了自主研发的AI病理大模型,它们不仅在技术上取得了突破,更在临床应用场景中展现出巨大潜力。利用AI的“火眼金睛”几秒内就能精准筛查数亿像素的病理切片正逐步变为现实。
下面,就让我们一起盘点几家备受瞩目的国产AI病理大模型,看看它们是如何工作的,又将为我们的健康带来哪些改变。
1. “瑞智病理大模型RuiPath”:医研携手,打造临床级互动式诊断伙伴理
模型名称:瑞智病理大模型 (RuiPath)
研发单位:上海交通大学医学院附属瑞金医院与华为
发布时间:2025年2月18日
使用场景与核心能力:
-
RuiPath是基于瑞金医院数字化智慧病理科全业务流程开发的临床级国产多模态互动式病理大模型。
-
癌种覆盖广:基于瑞金医院丰富的病种和高质量医疗数据,其癌种覆盖广度达到中国每年全癌种发病人数90%的常见癌种,还涵盖垂体神经内分泌肿瘤等罕见病。
-
互动式诊断:医生可以和RuiPath开展互动式病理诊断对话,进行深度的病例探讨和分析。
-
据报道,该模型在2个月内读取了百万张病理切片,准确率超过90%。
研究意义与亮点:
-
临床级应用:直接面向临床实际需求开发,旨在解决病理医生短缺、提升诊断效率和精准度等痛点。
-
多模态融合:强调数字化和AI助力医院实现多模态数据(如影像、文本等)的融合应用。
-
医企合作典范:由顶尖医院和科技巨头强强联合,推动AI技术在真实医疗场景的落地和迭代。中国工程院院士、瑞金医院院长宁光表示,医学场景与数字化设备的融合,将产生更多具备人文观点和情怀的医疗新技术。
2. “DeepPathAI”:西湖大学出品,支持40余种癌症诊断的多模态选手
模型名称:DeepPathAI
研发单位:西湖大学人工智能与生物医学影像实验室
发布时间:2025年4月(在首届数智病理西湖峰会发布)
使用场景与核心能力:
- 全球首个融合了镜下视野和全场图(WSI)的多模态病理大模型。
- 多癌种诊断:据报道,该模型支持诊断40余种癌症。
- 效率提升显著**:**能以0.25微米的精度扫描切片,在几秒之内完成基础筛查,并智能标记可疑病变,将病理医生数小时的工作量缩短至“一杯咖啡的时间”。
- 临床落地:计划在杭州市第一人民医院正式落地应用。
研究意义与亮点:
- 多模态融合创新:将不同尺度的病理图像信息有效结合,更全面地捕捉病变特征。
- “超级私人助理”定位:旨在成为病理科医生的得力助手,提高效率,减少疲劳,辅助发现罕见病变。
- 科研成果转化:代表了中国顶尖研究型大学在AI医疗领域的创新能力和成果转化决心。
3. “PathOrchestra:商汤医疗打造,融合视觉与语言的病理“交响乐”
模型名称:PathOrchestra
研发单位:商汤医疗联合空军军医大学、清华大学
发布时间:2024年7月
使用场景与核心能力:
- 全国内首个将视觉模型和大语言模型结合的病理大模型。
- 大规模数据训练:利用国内规模最大的近30万张全切片数字病理图像(近300TB数据)数据集进行训练,并融合了文本、视频等多模态训练数据。
- 广泛临床任务支持:依托病理大模型的底层赋能,将模型能力半径拓展至百余种病理临床任务。
- SenseCare®消化道病理智能分析系统:作为其应用之一,可通过病灶分割、异常细胞检测等算法,进行消化道病理恶性病灶组织的智能分析,支持切片阴阳性智能分类、病灶精准勾画、胃炎智能分析及自动生成结构化报告等。
研究意义与亮点:
- 多视觉-语言多模态是关键:强调了视觉信息与文本知识(如医学文献、诊断报告)的融合对于提升AI病理诊断能力的重要性。
- 缓解医生工作负荷:旨在有效缓解病理医生工作量超负荷的问题,显著提高阅片效率。
- 推动行业标准化:致力于为我国病理科的数字化、智慧化升级和标准化发展提供赋能。
4. “灵眸”病理大模型:破解AI“黑箱”,实现诊疗级多器官精准诊断”
模型名称:灵眸
研发单位:重庆大学附属肿瘤医院、智能肿瘤学教育部医药基础研究创新中心与杭州医策科技有限公司联合研发
发布时间:2025年3月26日
使用场景与核心能力:
- 全诊疗级多模态病理大模型,以高质量数据为基础。
- 多器官、多癌种覆盖:可识别9大器官57种肿瘤亚型。
- 还原诊断路径,提升可解释性:能够判别癌变、分割病灶区域,并完整还原医生临床诊断路径,实现诊断推理过程全透明,为破解AI医疗“黑箱”难题提供新路径。
- 赋能专业问答:贴合临床推理路径,赋能专业问答。
研究意义与亮点:
- “诊疗级”定位:强调其具备精准辅助病理判读的能力,直接服务于临床诊疗决策。
- 攻克AI可解释性难题:通过还原诊断路径,增强了医生对AI模型的信任度和应用信心。
- 产医研协同创新:由医院、高校研究中心和科技企业三方联合研发,是多学科交叉合作的成果。**
**
***5. ROAM模型:清华大学发布,专注胶质瘤诊断与分子标志物发现的AI基础模型*
**模型名称:**ROAM (基于大区域兴趣和金字塔Transformer的精准病理诊断AI基础模型)**研发单位:**清华大学自动化系生命基础模型实验室 与 中南大学湘雅医院合作**发布时间:**相关研究成果于2024年7月发表于《Nature Machine Intelligence》
**使用场景与核心能力:**专注于胶质瘤的临床级诊断和分子标志物发现,并可拓展到其他类型肿瘤的病理诊断。弱监督学习:采用多示例学习为基本框架,以大尺寸组织图像块为研究单元。多尺度信息提取:利用金字塔Transformer结构,有效提取丰富的多尺度信息。精准诊断与分子特征预测:实现了对胶质瘤肿瘤检测、亚型分类、分级和分子特征预测等多种分类任务的准确诊断。可解释性与泛化能力:能够捕获与病理学家经验一致的关键形态特征,并具有出色的外部数据泛化能力。*研究意义与亮点:*AI基础模型探索:旨在构建可应用于多种肿瘤病理诊断的基础性AI模型。分子标志物发现:不仅辅助诊断,还能促进发现新的分子和形态学生物标志物,为疾病的精准治疗提供新见解。顶尖学术成果:发表于国际顶级期刊,代表了中国在AI计算病理学领域的前沿研究水平。
*6. “湘江轩辕”病理大模型:融合电镜超微病理,探索诊断新深度**
**模型名称:*“轩辕”AI预训练系列(病理)大模型,亦称“湘江轩辕病理大模型”**研发单位:**湘江实验室主导,中南大学湘雅基础医学院病理学科团队等参与**发布时间:**2025年1月11日
**使用场景与核心能力:**作为湘江实验室“四算一体”(算力、算法、算据、算网)战略下的智慧医疗应用成果之一,这款病理大模型的一大特色是融合了电镜超微病理信息。这意味着它不仅能分析常规的光学显微镜下的病理图像,还能深入到亚细胞结构层面进行观察和学习,为一些疑难疾病的诊断提供更精细的依据。**研究意义与亮点:*技术融合创新:将电镜级别的超微结构信息引入AI大模型训练,有望突破传统病理诊断在某些情况下的局限性,提升对复杂病变的识别能力。赋能区域医疗创新:湘江实验室作为湖南省的重要科技创新平台,其病理大模型的发布有助于提升区域医疗的智能化水平和科研创新能力。推动多学科交叉:电镜技术与AI大模型的结合,是典型的多学科交叉产物,预示着未来病理诊断将更加依赖综合技术手段。*
***7. 清华大学“GTDoctor”:专注妊娠滋养细胞疾病,AI守护妇幼健康*
**模型名称:**妊娠滋养细胞疾病病理大模型GTDoctor 及智能辅助诊断系统GTDiagnosis**研发单位:**清华大学自动化系与郑州大学第三附属医院(河南省妇幼保健院)联合研发**发布时间:**2024年7月29日
**使用场景与核心能力:**专门针对妊娠滋养细胞疾病(如葡萄胎、侵袭性葡萄胎、绒癌、胎盘部位滋养细胞肿瘤等)的AI辅助诊断。这类疾病虽然发病率不高,但部分类型恶性程度高,早期精准诊断至关重要。GTDoctor通过学习大量的相关病例数据,辅助病理医生快速、准确地识别病变特征,进行疾病分类和风险评估。*研究意义与亮点:*AI聚焦专病,解决痛点:针对特定罕见或疑难疾病开发专用AI模型,能够更有效地提升该领域的诊疗水平,弥补医生经验的不足。提升基层诊疗能力:妊娠滋养细胞疾病的诊断对病理医生专业知识要求高,AI大模型的辅助有望帮助基层医院提升对这类疾病的识别能力。多中心合作,数据驱动:通过与多家妇幼保健院合作,获取更广泛的病例数据进行模型训练和临床验证,保障模型的可靠性和泛化能力。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。