水平直逼高级病理学家!清华团队提出AI基础模型ROAM,实现胶质瘤精准诊断

医学图像相关公开数据集 名字 部位 类型 任务 LiTS Challenge 肝脏 CT 分割 Camelyon 乳腺病理 WSI 分类、检测 HPAC 细胞器 显微镜图片 多分类 BraTS 2018 and 2017 大脑 MR 分割、生存分析 CHAOS 腹部器官 MR、CT 分割 EAD2019 内窥镜 视频 分割、检测 IDRiD 糖网 眼底 分类、分割、检测 Cancer Detection 淋巴结 WSI patches 分类 nucleisegmentaion 肺癌、... 阅读详情

胶质瘤是一种源自脑内神经胶质细胞的肿瘤,占据所有原发性中枢神经系统肿瘤的 40%~60%,并以成年人最常见的颅内原发性肿瘤而闻名。胶质瘤的组织病理分类非常复杂,通常分为三种亚型:星形细胞瘤、少突胶质细胞瘤和室管膜瘤,每种亚型又可进一步分为若干级别。因此,准确的分类和分级对胶质瘤的预后评估和治疗方案至关重要。

胶质瘤的诊断通常由经验丰富的病理学家通过观察组织切片完成,然而,这种方式存在病理学家稀缺、诊断具有主观性以及诊断过程耗时等挑战,难以满足当前胶质瘤的诊断需求。

数字病理学和机器学习的最新进展使组织学切片的数字化成为可能,这些切片被转换为千兆像素的全切片图像 (WSI),其中包含丰富的上下文数据,在诊断、预后和分子特征分析方面具有巨大的潜力。然而,这些方法仅分析由病理学家选定的病理图像中的感兴趣区域 (ROI),无法实现整个切片的自动化分析。

在此背景下,清华大学自动化系生命基础模型实验室闾海荣副研究员、江瑞教授、张学工教授与中南大学湘雅医院胡忠良教授合作, 提出了一种基于大区域兴趣 (large regions of interest) 和金字塔 Transformer (pyramid transformer) 的精准病理诊断 AI 基础模型 ROAM,用于胶质瘤的临床级诊断和分子标志物发现,并可拓展到其他类型肿瘤的病理诊断。

相关研究成果以「A transformer-based weakly supervised computational pathology method for clinical-grade diagnosis and molecular marker discovery of gliomas」为题发表于 Nature Machine Intelligence。

ROAM 能够从病理图像中有效提取丰富的多尺度信息,实现了对胶质瘤肿瘤检测、亚型分类/分级和分子特征预测等多种分类任务的准确诊断。 在内部数据上,ROAM 的诊断性能卓越,能够自动捕获与病理学家经验一致的关键形态特征,为胶质瘤提供准确、可靠和适应性强的临床级诊断。

此外,ROAM 还能推广到独立的外部数据,具有出色的泛化能力。通过可视化和解释诊断,ROAM 能够帮助病理学家验证模型诊断基础的可靠性,提取有价值的信息,并促进辅助诊断,提高医疗水平。最重要的是,ROAM 有助于发现分子和形态学生物标志物,为胶质瘤的诊断和治疗提供新的见解。

研究亮点:

  • ROAM 通过大尺寸图像块和多尺度特征学习模块,实现了全切片组织病理图像视觉表征的高效提取

  • ROAM 能推广到独立的外部数据,具有出色的泛化能力

  • ROAM 有助于发现分子和形态学生物标志物,为胶质瘤的诊断和治疗提供新的见解

在这里插入图片描述

论文地址:
https://www.nature.com/articles/s42256-024-00868-w

数据集下载:

https://go.hyper.ai/r7CyI

开源项目「awesome-ai4s」汇集了百余篇 AI4S 论文解读,并提供海量数据集与工具:

https://github.com/hyperai/awesome-ai4s

数据集:两大数字组织病理切片数据集

本研究收集了 2 个大规模的数字组织病理切片 (WSI) 数据集用于胶质瘤的研究。

1. 湘雅胶质瘤 WSI 数据集

该数据集来自中南大学湘雅医院的胶质瘤切片, 如下图所示,包含 1,109 个在相同数量的不同病例中均以 ×40 放大处理的 WSI,涵盖了胶质瘤检测、亚型分类、分级和分子特征预测等诊断任务,且每种病例采集的切片数量相同。

在这里插入图片描述

湘雅胶质瘤 WSI 数据集信息

数据集仅包含切片级标注,这些标注指示了 530 例星形胶质瘤、224 例寡突胶质瘤和 213 例室管膜瘤的亚型和分级。此外,对 634 例 IDH 突变病例和 641 例 MGMT 启动子甲基化病例进行了分子检测。

数据集被随机分为两个部分: 一个包含 736 个 WSI 的内部训练数据集,用于模型训练;另一个包含 373 个 WSI 的内部测试数据集,用于模型评估和医生相关实验。两个数据集中的类别比例与整个数据集相同。

2. TCGA 胶质瘤 WSI 数据集

另一个胶质瘤的组织病理 WSI 数据集来自脑低级别胶质瘤和胶质母细胞瘤项目。 共有 860 个胶质母细胞瘤切片 (来自 389 例病例) 和 844 个脑低级别胶质瘤切片 (来自 491 例病例),诊断标准与湘雅数据集使用的标准不同,所以仅保留了数据中的切片级标注,并邀请了参与湘雅数据集标注的两位病理学家,根据 2016 年版的诊断指南对这些切片的诊断结果进行审核和修订。

最终,经过审核的数据集包括 618 个放大倍数为 ×40 和 ×20 的 WSI,涵盖与湘雅数据集一致的 4 个任务。该数据集作为胶质瘤亚型分类、分级和分子特征预测的外部测试数据集。

模型架构:基于大区域兴趣和金字塔 Transformer

ROAM 是一种弱监督计算病理学方法,该方法以多示例学习为基本框架,以大尺寸组织图像块为基本研究单元,并采用金字塔 Transformer 来系统地学习每个组织图块的尺度内和尺度间的相关性特征,从而实现对全组织切片图像视觉表征的有效提取。

首先, ROAM 对每张全切片图像进行组织分割,并从中提取大尺寸的组织图像块 (2048×2048) 作为后续分析的基本单元,即 ROI,如下图 WSI patching 所示:

在这里插入图片描述

ROAM 基本框架

其次, 对每个 ROI 进行 2 次连续的降采样 (Downsample),生成 3 个不同放大倍数的图像。每个图像随后被分割成小的图像块,这些图像块通过预训练的卷积神经网络进行编码,提取其视觉表征,这些表征作为 MIL 模型的输入,如下图 b 左侧实例特征提取 (instance feature extraction) 所示;使用多尺度自注意力 (SA) 模块和注意力网络,生成实例级表示,并将这些信息聚合为切片级表征,如下图 b 右侧多尺度特征提取 (multiscale feature extraction) 所示。

在这里插入图片描述

实例特征提取和多尺度特征提取

最后, 如下图 c 实例特征聚合(instance feature aggregation)所示,两种不同类型的 SA 模块利用金字塔 transformer 架构,逐步从高放大倍数到低放大倍数融合多尺度特征,得到组织图块的多尺度视觉表征。尺度内 SA 模块和尺度间 SA 模块分别学习 ROI 的尺度内和尺度间相关特征,两种模块都包含若干个多头 SA 层和前馈层。

在这里插入图片描述

实例特征聚合

研究结果:ROAM 实现胶质瘤精准诊断

ROAM 实现了胶质瘤的精准诊断

研究人员在内部数据集和 TCGA 外部数据集上评估了 ROAM 的分类表现。

如下图 a 所示,ROAM 优于包括 CLAM、TransMIL、GTP、TEA-graph、H(2)MIL 在内的 5 种方法,在内部数据集胶质瘤诊断相关的任务上均优于其他基线方法。在正常、胶质增生和肿瘤的 3 类胶质瘤检测中,ROAM 的宏平均一对一 ROC 曲线下面积 (AUC) 为 0.990±0.002。

在这里插入图片描述

胶质瘤分型

对于星形细胞瘤、少突胶质瘤和室管膜瘤的 3 类胶质瘤亚型分类,ROAM 的 AUC 为 0.950±0.003,如下图 b 所示。

在这里插入图片描述

星形细胞瘤分级

在这些胶质瘤诊断任务中,ROAM 在所有基线方法中都取得了最高的 AUC,证明了 ROAM 模型在胶质瘤诊断中的有效性和高性能。

同时,ROAM 也具有良好的泛化性, 仅使用内部数据集进行训练并在外部 TCGA 数据集上测试,ROAM 的总体表现仍然优于其他基线方法。此外,ROAM 预测的可视化结果也表明该方法总结的诊断依据与临床诊断标准非常一致。

ROAM 显著推进了胶质瘤的临床辅助诊断

研究人员对 ROAM 进行了临床级的综合评估, 并研究了 ROAM 在胶质瘤辅助诊断中的表现:邀请了 3 组共 5 名病理学家参与研究,其中一组为临床经验不足 5 年的初级病理学家,两组为具有 5 到 15 年临床经验的中级病理学家,另两组为具有超过 15 年临床经验的高级病理学家。

如下图,研究提出的系统在胶质瘤级联诊断的 5 个任务上表现出色,优于 5 名病理学家中的 4 名,并且与表现最好的高级病理学家 (高级 1) 结果相当。具体而言,在胶质瘤检测方面,新系统显著优于所有病理学家, 包括表现最好的病理学家,超出 21.30%,如下图 f 所示。

在这里插入图片描述

人机对比结果

随后,研究人员要求 3 位初级和中级病理学家在 ROAM 的辅助下进行诊断,以调查他们的诊断性能是否有所提高。结果显示,在 ROAM 的帮助下,3 位病理学家的诊断准确性在所有任务中分别平均提高了 7.27% (初级 1)、12.87% (中级 1) 和 9.96% (中级 2)——这体现了 ROAM 的巨大临床应用价值。

ROAM 促进了胶质瘤分子形态标记物的发现

研究人员借助 ROAM 探究了与胶质瘤诊断相关的关键分子特征的形态学表现,关注到 ROAM 在预测异柠檬酸脱氢酶 (IDH) 突变的分子特征任务上表现优异,对 ROAM 在该任务中的预测结果进行了完整的可视化分析,并对 ROAM 关注的高注意力关键区域的组织形态特征进行分析和总结,发现在 IDH 突变的病理图像中普遍存在嗜酸性细胞增多、细胞质均匀和细胞核深染的现象。

在这里插入图片描述

基于弥漫性星形细胞瘤和少突胶质瘤对这些ROI的可视化揭示了具有IDH突变的胶质瘤中的独特特征

这一重要发现有利于医生在不借助分子检测的情况下作出初步的 IDH 状态的预测,对于胶质瘤临床诊断标准和优化和完善有显著的推进作用。

清华大学自动化系生命基础模型实验室持续推进 AI 赋能生命科学研究

在本论文中,清华大学闾海荣副研究员、张学工教授、中南大学湘雅医院胡忠良教授为通讯作者, 清华大学江瑞教授、硕士生尹小旭,中国移动研究院杨鹏帅,湘雅医院程灵超为论文共同第一作者,胡隽、杨娇、王颖、傅晓丹、商利、李丽玲、蔺薇、周欢参与了本研究的数据采集及标注,陈福沨及福州数据技术研究院提供了在线软件平台的研发支持。

作为本研究的主要贡献者之一,清华大学自动化系生命基础模型实验室不断致力于探索如何用先进的人工智能技术赋能生命科学研究。

今年 6 月,清华大学自动化系生命基础模型实验室主任张学工教授、电子系/AIR 马剑竹教授和百图生科宋乐博士合作,建立了一个名为 scFoundation 的细胞大模型。 该模型基于 5 千万个细胞的基因表达数据进行训练,拥有 1 亿参数,能够同时处理约 2 万个基因。作为基础模型,它在「虚拟药物试验」等多种生物医学下游任务中表现出卓越的性能提升,提供了人工智能在单细胞研究中的新范式。

研究成果以「Large-scale foundation model on single-cell transcriptomics」为题,发表于 Nature Methods上。点击查看完整报道:「1亿参数的细胞大模型来了!登Nature子刊,清华大学团队发布scFoundation:对2万基因同时建模」

在这里插入图片描述

scFoundation 模型及下游应用场景

scFoundation 模型为生命科学基础研究、细胞扰动响应预测、药物靶点发现等领域提供了创新方法工具,并在模型架构、训练框架和下游示范应用体系等方面为细胞大模型研究提供了新的思路和方法,成功地拓展了单细胞领域基础模型的边界,为开展数基空间中的虚拟药物实验等未来研究奠定了基础。

面向未来,清华大学自动化系生命基础模型实验室将持续从事人工智能和生命科学交叉领域研究。随着 AI 技术的不断发展和完善,人工智能在生命科学领域的应用将极大地推动医疗技术的进步,提高诊断和治疗的精准性,降低医疗成本,并最终改善人类的健康和生活质量。

参考资料:
1.https://www.nature.com/articles/s42256-024-00868-w

2.https://mp.weixin.qq.com/s/oB3kTgcgObawPKU-75KsHQ

3.https://mp.weixin.qq.com/s/nflI4PVTJB3xVPXuA5zbZQ

Camelyon16数据集切块预处理 本文介绍了Camelyon16数据集切块预处理的过程 阅读详情

相关推荐

病理AI入门避坑指南:WSI图像格式、工具链选择与开源数据集全解析

本文全面解析病理AI研究中的WSI图像格式、工具链选择与开源数据集应用,帮助开发者避开常见陷阱。从WSI格式解密到深度学习模型训练,提供实战技巧和高效工具链组合,特别适合病理图像处理与深度学习的初学者和研究者。

weixin_42524499的博客 365

Biomedical images dataset(5 renal page)

KiTS19 与MICCAI19合办;可靠的肾脏和肾脏肿瘤语义分割;open on github 数据集:共300例(10-18) in NIFTI,接受部分或彻底肾切除术的独特肾癌患者的动脉期腹部CT扫描生成了ground truth。其中210例训练,90例test。数据说明 ...

qq_37735698的博客 2070

TCGA超过1G的病理wsi数据下载-gdc-client

使用网页端下载TCGA超过1G的病理wsi数据,数据下载到1G后就不能完整下载。遂采用gdc-client下载。

hx2024的博客 4083

brats数据集以及其他的医学影像数据集

脑肿瘤分割(BraTS)挑战集中于评估在多参数磁共振成像(mpMRI)扫描中分割脑肿瘤的最新方法。自成立以来,它的主要作用有两个方面:a)公开可用的数据集和b)公共基准。BraTS利用多机构术前mpMRI扫描,##说明:这个BraTS胶质瘤数据集它分年份,每一年份的数据集会有所不同,因为数据集会随着比赛的更新而更新,应该是从2012年开始的。最新的应该是2021年的。此外,为了明确该分割任务的临床相关性,BraTS 2018还通过对影像特征和机器学习(ML)算法的综合分析,重点预测患者的总体生存率。

qq_44896301的博客 3738

Shopee App加密算法逆向实战:从抓包到libshpssdk.so的深度解析

本文详细解析了Shopee App加密算法的逆向过程,从网络抓包发现加密参数入手,通过Frida动态Hook定位到Java层关键方法,并深入追踪至Native层的libshpssdk.so核心函数。文章结合实战演示了如何利用Unidbg模拟执行环境进行算法分析与验证,并探讨了核心参数生成逻辑及风控规避要点,为移动安全与逆向工程研究提供了完整的技术路径。

weixin_28347369的博客 533

1.47寸ST7789V3彩色TFT LCD嵌入式驱动详解

TFT LCD是嵌入式人机交互(HMI)的核心显示技术,其工作原理依赖于行列驱动、RGB像素寻址与伽马校正等模拟/数字协同机制。ST7789V3作为主流低功耗TFT控制器,支持SPI接口与16位RGB565数据格式,具备高兼容性与轻量级驱动优势。在资源受限的MCU平台(如ARM Cortex-M系列)上,结合RT-Thread设备驱动模型与QSPI硬件加速,可实现高效显存管理、Bresenham图形算法及GB2312中文字模渲染。典型应用场景涵盖便携设备状态屏、工业HMI面板与教育开发套件——本文以1.47

weixin_42599908的博客 125

小白入门医疗多模态领域。关于TCGA数据集中RNA序列数据和WSI数据的下载,WSI可视化,并解决openslide报错。(踩坑解决,无需魔法)

此时你可以试试import openslide-python 会报这样的错(如果不一样可能是版本的问题,我这里是python3.8 openslide-python-1.3.1)在Win10环境中下载并配置gdc-client工具,并以TCGA白血病转录组学数据为例,讲解下载过程_gdc-client安装。注意,是所有代码的前面,包括import,因为你后面可能会import histolab这个库,也会报错。具体数据的下载请参考这篇,讲的很详细,推荐用命令行方式下载。我们以BRCA为例,就选择这两个。

qq_62552211的博客 1856

Stanford CS230深度学习(一)

斯坦福CS230可以作为深度学习的入门课,最近我也在跟着看视频、完成编程作业。首先列出使用的资源链接,然后给出第一课的理解和编程作业的代码。 所有资料如下: 一、课程连接: b站课堂讲授版:Stanford CS230(吴恩达 深度学习 Deep Learning | Autumn 2018)(中英双字幕) (一共10个视频,每周一个,但是每个视频对应下面的配套视频较多) Coursera配套视...

weixin_44750583的博客 2382

关于WSI的处理

仅作为记录,大佬请跳过。 传送门 github传送门 传送门

weixin_41529093的博客 964

USB HID虚拟电池:Windows零驱动电源状态模拟方案

虚拟电池是一种在硬件测试与功耗分析中替代真实电池、实现可控电源状态注入的关键技术。其核心原理是通过标准USB HID协议(特别是UPS设备类)向操作系统上报可编程的AC/DC状态、剩余电量、容量参数等,绕过内核驱动限制,达成毫秒级响应与跨Windows版本兼容。该技术显著提升SoC能效验证、电池健康度校准及低电量行为触发等场景的可重复性与精度。本文基于CH554微控制器实现符合HID UPS规范的物理层虚拟电池设备,支持零驱动安装、USB原生识别与实时参数调控,适用于笔记本平台功耗建模、电源管理策略验证及自

weixin_35755188的博客 355

单片机原理及应用知识点汇总(一)

在键闭合稳定时,读取键的状态,并且必须判别;、串行通信的优点是只需一对传送线,成本低,适于远距离通信,缺点是传送速度较低。、并行通信的优点是传送速度高,缺点是所需传送线较多,远距离通信不方便。、串行通信中,为使设备同步工作,需要通信双方有两个共同的要求,一是。系列单片机的指令中,既有带借位的减法指令,又有不带借位的减法指令。、简述在使用普通按键的时候,为什么要进行去抖动处理,如何处理。、在异步通信的帧格式中,数据位是低位在前高位在后的排列方式。、异步通信中,波特率是指每秒传送二进制代码的位数,单位是。

T19900的博客 698

(WSI分类)WSI分类文献小综述

WSI分类研究介绍。

qq_34616741的博客 8974

Android Camera MTK框架

Camera简介: 虽然前文说道Android在5.0之后就推出了Camera2 API,但是各个厂家的基本未适配,导致目前市场上大部分机型使用的仍然是Camera1 API。PS:Android 9.0 Google强制要求各个平台厂商(高通/MTK/华为等)支持Camera2,不再兼容Camera1。 ...

weixin_49303682的博客 5512

常用的医学组织切片细胞图像数据集

乳腺癌细胞图像数据集、血细胞图像数据集、HE染色切片、疟疾细胞图像 图像识别、分类、分割

new_0428的博客 2万+

基于PyQt5和OpenCV的传统图像分割应用UI程序

主要功能包括:加载和显示图像应用多种图像分割算法调整算法参数保存处理结果。

Henry的博客 474

PyQt5开发应聘简历模版

该工具旨在帮助用户对Excel、CSV格式的数据进行快速导入、分析及可视化展示,支持折线图、柱状图、饼图等多种图表类型,提供数据筛选、排序、统计等功能,适用于企业数据分析人员日常工作。:一款用于本地文件管理的桌面应用,支持文件的新建、复制、移动、删除、重命名等基本操作,具备文件搜索、分类整理、批量操作及文件信息查看等功能,提升用户文件管理效率。:熟悉QSS(Qt Style Sheet)样式表,可对PyQt5界面进行个性化美化,包括控件颜色、字体、边框、布局等样式定制,提升应用视觉体验。

ybmzlqzj的博客 83

2D-FCN8s,FCN16s,FCN32s脑胶质瘤分割BraTs + Pytorch实现

FCN讲解 玖零猴:FCN+与CNN的区别+三大技术+网络结构 BraTs数据准备 玖零猴:(2D网络)医学三维数据且又多模态多标签该如何预处理 运行环境的安装 windows10 64 bits、nvidia驱动、CUDA8.0、cudnn、anaconda 打开命令窗口, 分别输入以下指令: co...

程序客栈 4431

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

2024年6月21日Arxiv人工智能相关论文

原标题作者机构: 华沙理工大学 数学与信息科学学院 华沙 波兰摘要: 最近,机器学习的多个应用被引入。它们包括在广义上理解的视频流中应用图像分析方法时出现的各种可能性。在这个背景下,开发了一种新的工具,用于学术教育工作者通过自动化、总结和提供即时反馈来增强教学过程。实施的原型利用基于机器学习的技术来识别讲座视频录像中选择的教学和行为特征。具体而言,用户(教师)可以上传他们的讲座视频,这些视频经过预处理和分析,使用机器学习模型。接下来,用户可以通过交互式图表和表格查看识别到的教学特征的摘要。

数智笔记 2694

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

AI病理新神器!跨癌种通吃,自监督学习让诊断和生存预测「一网打尽」

上海交通大学俞章盛/张岳团队联手搞了个大新闻!他们用1100万张无标签病理切片,训练出一个叫BEPH的AI“全能选手”。这模型不仅能在乳腺癌、肺癌、肾癌等32种癌症中“火眼金睛”识别肿瘤,还能从一张切片里“算”出患者的生存期,准确率吊打传统模型。更绝的是,它连标注数据都不怎么需要——别人家AI要喂100%的标注数据才能干活,它吃25%的“剩饭”就能干得更好。

m0_59164520的博客 1650

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

论文阅读 (83):MuRCL: Multi-instance Reinforcement Contrastive Learning for Whole Slide Image (医学图像)

多示例学习 (MIL) 广泛应用于自动全幻灯片图像 (Whole slide image, WSI) 分析,其处理策略可以分为:1)实例特征提取;2)特征聚合。然而,由于幻灯片级别标签的弱监督性,MIL模型的训练过程通常会呈现严重的过拟合。在这种情况下,从有限的幻灯片级别标注的数据中发掘更多的信息是至关重要的。与已有的方法不同,本文着重于探索不同实例 (区块) 之间的潜在关系,而非提升实例特征的提取,以提高模型的泛化能力。

因吉的博客 2498

翻译:Graph CNN for Survival Analysis on Whole Slide Pathological Images

Graph CNN for Survival Analysis on Whole Slide Pathological Images 全载玻片病理图像生存分析的图形神经网络 摘要: 深度神经网络通过提供高质量的特征而被用于生存预测。然而,很少有人注意到整体切片病理图像拓扑特征的重要作用(WSI)。在WSIs上学习拓扑特征需要密集的计算。此外,无线传感器网络的最优拓扑表示仍然是模糊的。此外,如何在生存预测中充分利用WSI的拓扑特征是一个有待解决的问题。因此,我们建议将WSI建模为图,然后开发具有注意力学习的图

qq_40515250的博客 1473

基于核定位的多染色全切片图像点集配准方法|文献分享·24-11-16

图像配准的两种常见方法是基于强度和特征的配准。传统方法提取特征,例如使用尺度不变特征变换(SIFT)来估计所需的变换[10]。近期文献也探索了使用深度学习从图像中提取特征以辅助构建变换函数的概念。常用的工具是SuperPoint[5],它是一种自监督的基于CNN的特征检测模型。此外,SuperPoint通常与SuperGlue[22]结合使用,后者是一种依赖图神经网络和最优匹配的兴趣点匹配模型。

罗小罗同学的博客 1614

9个病理AI基础模型应用于2个公开数据集,测试能否消除批次效应|文献速递·24-11-12

本次实验最近推文的主题一直是病理AI的基础模型,本次实验寄希望于基础模型可以消除不同中心数据的批次效应,那么这期推文便来探讨一下,所谓的“基础模型”(foundation models)究竟能否消除批次效应(batch effects)。先解释一下批次效应——指。这些差异可能会对模型的鲁棒性和泛化能力产生负面影响。:即使在大规模和多站点预训练的情况下,基础模型的特征嵌入中仍然包含可以被线性方法准确检索到的特定于来源站点的签名。:特定于站点的信息作为批次效应,可能会导致预测偏差和误分类。

罗小罗同学的博客 1493

【SAM综述】医学图像分割的分割一切模型:当前应用和未来方向

鉴于prompt的灵活性,foundation models已成为自然语言处理和计算机视觉领域中的主导力量。最近SAM的兴起,使得prompt-driven范式在图像分割领域显著发展,进而引入了大量以前未开发的功能。但医学图像与自然图像还是存在较大差异,SAM应用于医学图像的可行性尚未可知。在本文中,作者进行了全面综述,介绍医学图像分割任务中SAM的有效性,包括基线测试和方法调整,还探索了SAM在医学图像分割中的潜在研究方向。

风巽·剑染春水的博客 1万+
上一篇: Meta/东京电子/FPT软件等共同贡献,Aitomatic发布首个半导体行业开源大模型,「锁死」企业技术自主权
下一篇: 教程上新 | 文生图、图生图、图像修复三合一神器, HiDiffusion 一键启动教程现已上线!
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值