罗小罗同学的博客

Task-specific Fine-tuning via Variational Information Bottleneck for Weakly-supervised Pathology Whole Slide Image Classification”由Honglin Li等人撰写。文章提出一种基于变分信息瓶颈的弱监督病理全切片图像分类任务特定微调框架，有效解决计算成本高和监督有限的问题，在多个数据集上提升了分类精度和泛化能力。研究背景。

文章提出一种基于多实例学习（MIL）和集成技术的深度学习模型，可从急性髓系白血病（AML）的全切片图像（WSI）预测基因突变，为临床诊断提供支持。

AdvMIL: Adversarial multiple instance learning for the survival analysis on whole-slide images”提出了一种新的对抗多实例学习框架AdvMIL，用于基于全切片图像（WSI）的生存分析，能有效提升模型性能、利用无标记数据，并增强模型鲁棒性。作者类型姓名单位第一作者Pei Liu电子科技大学计算机科学与工程学院通讯作者Luping Ji电子科技大学计算机科学与工程学院。

New horizons at the interface of artificial intelligence and translational cancer research》由Josephine Yates和Eliezer M. Van Allen撰写。文章探讨了人工智能（AI）在癌症多组学分析和转化研究中的应用、挑战与机遇，指出AI有潜力推动精准肿瘤学发展，但在临床整合等方面仍面临难题。

文章提出HookNet，一种用于组织病理学全切片图像语义分割的多分辨率卷积神经网络模型，通过多分支结构有效结合上下文和细节信息，在乳腺癌和肺癌组织分割任务中展现优势，并提供代码和网络应用促进相关研究。__init__self,n_classes,depth=4,n_convs=2,):HookNet类继承自nn.Module，这是PyTorch中所有神经网络模块的基类。__init__方法是类的构造函数，用于初始化网络的各个组件。参数解释：n_classes：表示分割任务中的类别数量。

这篇文章通过整合多模态数据，提出了一种新的胶质瘤亚型分类框架，为IDH野生型胶质瘤的精准治疗和预后判断提供了重要依据。

文章利用多模态深度学习整合 14 种癌症类型的全切片病理图像与分子特征数据，构建预后模型，通过对比单模态模型及分析模型可解释性，发现相关预后特征，开发出 PORPOISE 平台辅助研究，为癌症预后评估提供新方法与思路。

这篇文章聚焦于医学AI在基底细胞癌（BCC）诊断领域的应用。BCC发病率的急剧上升给病理诊断工作带来沉重负担，传统诊断方式依赖大量人工标注，效率低下且容易出错。在此背景下，文章提出了一种基于弱监督学习的创新方法，旨在利用AI技术提升BCC诊断的效率与准确性。文章详细介绍了两种关键模型CLAM和StreamingCLAM，并对它们进行了深入对比。研究人员使用了大规模的数据集，包括5147张图像用于训练和验证，以及在内部949张图像、外部183张图像和公共测试集上进行测试。

Vim4Path: Self-Supervised Vision Mamba for Histopathology Images”一文主要研究了将Vision Mamba（Vim）架构应用于计算病理学中全切片图像（WSI）的表示学习，旨在解决因组织结构复杂和标记数据稀缺带来的挑战。研究背景：从千兆像素全切片图像进行表示学习在计算病理学中极具挑战。传统多实例学习方法依赖自然图像预训练模型，因病理图像与自然图像分布差异，效果欠佳。自监督学习（SSL）虽有发展，但编码器架构影响其性能。方法。

（明天发）。文献速览这篇文章聚焦于此，开发出MSIntuit这一基于AI的临床预筛查工具，为解决难题提供新方向。它借助自监督学习从大量结直肠癌病理图像中提取特征，经多步骤优化，在600例患者独立数据集上完成盲法验证。研究结果显示，MSIntuit性能卓越。在不同扫描仪上表现稳定，敏感性高达0.96 - 0.98，

在医学AI领域，肺癌的精准诊疗一直是重点研究方向。这篇文章聚焦于非小细胞肺癌（NSCLC），开发了一个极具潜力的计算病理学平台。它基于大量高质量手动标注数据集，训练出高精度的多类组织分割算法，能精确分析H&E染色的全切片图像，为后续诊断、预后和预测算法的开发奠定了坚实基础。文章着重展示了该平台在两个关键下游应用的成果。一方面，训练并验证了NSCLC亚型分类诊断算法，在多机构、多扫描仪的国际队列中表现出色，准确性高，且优于部分基于基础模型和弱监督的方法。

在医学领域，准确解读医学图像并生成报告对患者护理至关重要，但给临床专家带来沉重负担。多模态生成式人工智能（GenMI）为医学图像解读和报告生成带来新机遇，有望实现部分流程自动化。这篇3.26发表于Nature的文章，围绕GenMI在医学报告生成中的应用展开深入探讨，对从事医学AI研究的人员极具参考价值。文章首先阐述GenMI在医学报告生成方面的进展。传统医学报告生成框架多由视觉编码器和语言解码器构成，而基础模型的出现促使新型GenMI解决方案发展。

A deep learning framework for efficient pathology image analysis”发表于，提出EAGLE（Efficient Approach for Guided Local Examination）深度学习框架，旨在解决当前病理图像分析方法计算效率低等问题，推动人工智能在病理学领域的应用。研究背景。

文章介绍了一种名为Orpheus的多模态深度学习工具，用于从H&E染色的全切片图像中推断乳腺癌的复发风险评分（RS）。该工具旨在解决现有检测方法成本高、耗时长的问题，为临床决策提供更便捷的解决方案。文章详细描述了Orpheus的开发过程，包括数据收集、模型训练和验证等环节，并展示了其在不同数据集上的表现和临床应用潜力。Orpheus 是一个基于 Transformer 的多模态集成框架，结合H&E染色全切片图像和病理报告文本，用于预测癌症的预后/预测评分（如 Oncotype 评分）。核心功能。

这篇文章介绍了一种名为Brim的可解释多模态融合模型，用于在泛癌种中结合组织学和基因组学数据进行生存预测。背景与动机：癌症的复杂性和异质性导致临床结果难以预测，传统TNM分期系统无法充分考虑肿瘤异质性。人工智能（AI）在癌症研究中取得了显著进展，但多模态数据的缺失限制了其临床应用。模型开发：Brim模型通过结合病理全切片图像（WSIs）和多组学特征（突变状态、拷贝数变异、RNA-seq基因表达）来预测癌症患者的生存风险。模型包括四个主要部分：WSI预处理、病理图像特征模块、分子特征模块和桥接网络。

次级淋巴器官（SLOs），如淋巴结、脾脏及黏膜相关淋巴组织，对于启动和协调免疫反应至关重要。这些器官提供了一个结构化的环境，使免疫细胞能够有效地与抗原相互作用，从而促进适应性免疫反应。三级淋巴结构（TLSs）并非在胚胎发育中预先设定，其在形态和功能上模拟SLOs。在慢性炎症条件下，如癌症，TLSs在非淋巴组织中形成，由B细胞、T细胞、树突状细胞和高度内皮静脉组成。TLSs的形成被认为是由类似于组织SLOs的分子信号所启动，包括淋巴毒素和肿瘤坏死因子（TNF）家族。在肿瘤学领域，

HistGen: Histopathology Report Generation via Local-Global Feature Encoding and Cross-modal Context Interaction”提出了HistGen框架用于生成组织病理学报告，通过构建数据集、设计模块和预训练模型，实验证明其在报告生成及相关任务上性能优异，为该领域研究奠定基础。研究背景与挑战：组织病理学在癌症诊断中至关重要，但病理学家撰写报告的工作繁琐且易出错，自动生成报告意义重大。

Resolving tissue complexity by multimodal spatial omics modeling with MISO”发表于，提出MISO算法，可整合多组学和组织学图像数据，有效识别生物相关空间区域，为多模态空间组学分析提供了有力工具。研究背景：多模态空间组学技术发展，能在组织原位整合多种组学数据，但现有分析方法存在忽视空间信息、只能整合部分模态、需大量超参数调整且对低质量模态敏感等问题，因此需要新方法来整合多样的空间组学实验信息。MISO算法工作流程。

文章通过多组学研究，鉴定出26个基因的空间转录组特征，可用于表征高危胃癌前体，为胃癌的预防和生物标志物开发提供了重要依据。研究背景：胃癌是全球癌症相关发病率和死亡率的主要原因，肠道亚型占大多数，遵循Correa级联致癌途径。胃黏膜肠化生（GIM）是重要的癌前病变，其进展为胃癌的风险差异大，识别高风险GIM对早期检测和降低死亡率至关重要，但高低风险病变的生物学差异尚未完全明确。研究方法队列：使用前瞻性队列GAPS，提供详细的组织学评估和表型数据；TCGA - STAD基因组数据集用于分析基因表达；

Integrating spatial gene expression and breast tumour morphology via deep learning”发表于，通过开发深度学习算法ST-Net，结合空间转录组学和组织学图像，从苏木精 - 伊红染色的组织病理学图像预测局部基因表达，为研究肿瘤异质性和生物标志物提供了新方法。研究背景：基因表达的空间组织和异质性对组织特性有重要影响，但传统转录组分析技术无法捕获高分辨率空间异质性。

该文章介绍了一种名为HistoTME的弱监督深度学习方法，可从非小细胞肺癌（NSCLC）患者的组织病理学图像推断肿瘤微环境（TME）组成并预测免疫治疗反应，为NSCLC患者的临床管理和个性化免疫肿瘤学提供了有效工具。研究背景：肺癌是全球癌症相关死亡的主要原因，NSCLC是最常见的组织学亚型。免疫检查点抑制剂（ICI）虽改善了晚期NSCLC患者的预后，但许多患者无明显反应。

材料与方法部分体现了研究的严谨性与技术创新样本处理与测序流程的标准化确保数据可靠性；多策略恶性细胞鉴定提升结果的可信度；高通量数据与深度学习框架的结合，为精准药物筛选提供技术基础。这些方法不仅支持了“Shennong”框架的开发，也为后续肿瘤异质性研究和临床转化奠定了数据基础。Shennong是一个基于深度学习的单细胞水平药物扰动预测框架，旨在通过整合单细胞转录组数据和大规模药物扰动数据库，实现抗癌药物的计算机模拟筛选。输入（Input）

本文提出了一种名为IGI-DL的深度学习系统，旨在通过组织学图像分析肿瘤微环境（TME），以提升癌症预后预测的准确性。该模型整合了卷积神经网络（CNN）和图神经网络（GNN），从组织学图像中同时提取像素强度特征和细胞几何结构信息，预测空间转录组（ST）基因表达，进而构建超级补丁图（super-patch graph）进行生存分析。空间对齐：HE图像分块与空间转录组学检测点坐标匹配，确保多组学数据整合的准确性。质量控制：通过边缘过滤和低质量区域排除，提升特征可靠性。特征工程。

Systematic inference of super-resolution cell spatial profiles from histology images”发表于，提出了一种名为HistoCell的弱监督深度学习方法，能从组织学图像中推断超分辨率细胞空间分布，为癌症研究提供了有力工具。研究背景：从组织学图像推断细胞空间分布对癌症诊疗意义重大。现有方法存在局限性，如完全监督模型需大量人工标注，基于空间转录组学的方法分辨率和细胞特征挖掘不足。

高分辨率空间转录组学（ST）技术作为新兴手段，可在亚细胞分辨率下数字化完整组织切片中的基因表达。高分辨率空间转录组学（ST）主要分为基于成像和基于测序的方法，前者通过探针杂交检测转录本，后者对转录本进行空间标记和测序。凭借这些技术，能够构建组织图谱、揭示疾病机制、辅助个性化治疗，还可拓展转录组覆盖范围、实现多模态分析，为病理学研究提供关键支持。全切片成像技术助力病理切片数字化，结合相关数据构建的大规模数据集为深度学习模型训练创造了条件。。低分辨率空间转录组学与H&E图像联合分析，可优化模型。

随着空间分子成像技术发展，单细胞空间转录组（SCST）数据为研究组织微环境提供了丰富信息，但数据质量问题和现有分析方法的局限性阻碍了深入研究。。在实验阶段，研究人员。结果显示，GIST在细胞类型识别、空间域检测和基因表达分析等方面表现卓越。在肺癌数据集上，其聚类准确性远超其他方法，能更精准地检测肿瘤相关基因；在乳腺癌和结直肠癌数据集中，GIST同样出色，。综合来看，，有效提升了空间转录组分析的精度和可靠性，为理解组织空间结构和疾病机制提供了新视角。不过，

大规模模型架构与训练数据：FMs采用包含数十亿至超过一万亿参数的大规模神经网络架构（9），并利用大规模未标注数据集进行训练。多模态知识提取：FMs能够从多种数据模态中提取知识，如文本、图像、音频和视频（15），在放射学中，这包括放射影像（如X光片、CT扫描、MRI扫描）、报告、临床笔记、电子病历和实验室结果。自监督训练策略：FMs通过自监督学习减少对专家标注数据集的依赖。例如，在放射学中，可以通过将放射影像与相应的报告自然配对来训练模型，无需额外的手动标注（17,18）。超越训练目标的涌现能力。

这篇论文聚焦于组织学全切片图像分析，旨在探究多实例学习（MIL）与基础模型（FMs）结合的效果。由于全切片图像（WSI）分析面临标注有限和模型直接处理困难等问题，，但现有不同特征提取和聚合方式缺乏系统比较。为此，研究人员。实验结果显示，使用CONCH和UNI等FMs进行补丁级编码能显著提升MIL分类的准确率和训练收敛速度，且实例特征微调可进一步优化性能。同时，MIL聚合器在不同的补丁级编码器和分类任务中表现各异，如RRT在部分任务中表现出色。综上所述，该研究表明。

单细胞RNA测序（scRNA-seq）研究的数量和规模有了显著增加。Tabula Sapiens Consortium1和Human Cell Atlas2这两个全球性倡议对理解多个器官和组织的单细胞水平做出了重要贡献。来自不同专业领域的研究者投入了大量精力收集、分析这些器官和组织的数据，形成了庞大、全面的scRNA-seq数据集，这些数据集对科学界免费开放。scRNA-seq研究旨在以单细胞分辨率绘制和理解多个器官和组织的细胞景观。然而，分析多个scRNA-seq数据集的一个。

这篇文章通过对接受新辅助免疫治疗的肝细胞癌患者进行研究，发现肿瘤内三级淋巴结构（TLS）密度与病理反应和无复发生存期相关，且在肿瘤消退区域存在非典型 TLS 形态，可能有助于 T 细胞记忆形成，为肝细胞癌免疫治疗提供了重要依据。研究人员纳入接受新辅助ICB治疗及未接受系统治疗的HCC患者，通过多种检测方法探究TLS密度、形态、功能及免疫特征。 研究发现，新辅助ICB治疗会增加肿瘤内TLS比例，肿瘤内TLS密度与病理反应和无复发生存期相关，是重要的预后预测指标。同时，在肿瘤消退区域存在非典型“退化”TLS形态

这些数据对于标准分析工具而言过于庞大和复杂14。AI的一个子集，机器学习（ML）是一系列从数据中学习并迭代提高性能以解决特定任务的技巧。如果数据包含图像，标准的ML模型将输入从数据中提取的一组预定义特征（如肿瘤形状、肿瘤大小），而不是数据本身。在这种情况下，特征提取不是学习过程的一部分，因此依赖于人类专业知识。然而，需要一组预定义的手工特征，这代表了标准ML技术的重大局限性。为了克服这一问题，如果拥有足够多的数据，可以使用深度学习（DL），这是ML的一个分支，它。

这篇文章介绍了一个名为MedFound的通用医学语言模型，该模型拥有1760亿参数，通过大规模医学文本和真实世界临床记录的预训练，以及基于自引导策略的推理方法微调，能够辅助疾病诊断。在多个专业领域内，。此外，通过综合评估框架CLEVER的八项临床评估指标，证明了该模型在临床工作流程中辅助医生进行疾病诊断的可行性。MedFound在预训练阶段基于BLOOM-176B模型，通过MedCorpus数据集编码医学知识和实践经验。在微调阶段，采用自引导策略增强模型自动生成高质量诊断推理的能力。

MUSK模型的预训练过程，包括模型所基于的架构、预训练的数据来源以及预训练的两个阶段。模型架构MUSK模型是基于多模态Transformer架构构建的，该架构作为网络的主干。模型由共享的自注意力块以及两个分别处理视觉和语言输入的独立专家模块组成。这种架构设计使得模型能够有效地处理和融合视觉和语言两种不同模态的信息。预训练数据数据来源丰富，包括从11,577名患者的近33,000张全切片组织病理学扫描图像中提取的5000万张病理图像（patches，不是WSI），这些图像涵盖了33种肿瘤类型；

本研究开发了一个深度学习系统，旨在利用组织学图像描绘的肿瘤微环境（TME）来改善癌症预后预测。该系统构建了两项连接以弥合现有差距，一项连接组织学图像与空间基因表达，另一项连接由空间基因表达描绘的TME与癌症预后（图1A）。在第一项连接中，为了利用组织学图像中的像素强度和结构特征的优势，本研究设计了一个集成的图与图像深度学习（IGI-DL）模型。该模型采用卷积神经网络（CNNs）和图神经网络（GNNs）将H&E染色的组织学图像投影到基因表达空间。

DeepGEM模型利用实例级和包级共监督的多实例学习流程，有效地从整个全切片图像中学习信息性特征。一个预训练特征编码器，这是我们之前开发的通用特征编码器CTransPath20，使用自监督学习方法在大规模未标记病理图像数据集上预训练的；一个由残差变换块组成的变换器骨干，用于校准获得的斑块特征并编码上下文信息和斑块相关性；一个特殊设计的全切片图像（包）级和斑块（实例）级共监督模块，共同优化DeepGEM模型。共监督设计还使得DeepGEM模型能够作为一个多任务学习框架。

这篇文章是关于深度学习（Deep Learning, DL）在癌症基因组学和组织病理学中的应用的综述。这篇综述发表在Genome Medicine（IF=10.4，一区），概念阐述的非常清晰！！关于病理+基因等一系列的多模态医学研究已经开展了非常多，但是。有多方面的原因，总体可以分为两类——。虽然早从2018年就有相关的研究发表，但是受限于当时的硬件水平，处理大规模的数据可能有些困难；比硬件水平更关键的是“软件水平”，这不仅包括我们写代码的水平，还包括我们前期能收集到的数据质量和数量。

CONCH（CONtrastive learning from Captions for Histopathology）是一种用于组织病理学的视觉语言基础模型，它在包含 117 万图像 - 标题对的视觉语言数据集上进行了预训练。与其他视觉语言基础模型相比，其在计算病理学的 14 项任务（涵盖图像分类、文本到图像、图像到文本检索、标题生成以及组织分割等）中展现出了最先进的性能。关于使用 CONCH 的原因，与那些仅在苏木精 - 伊红（H&E）图像上进行预训练的、流行的计算病理学自监督编码器相比，

作者在开源的代码中还提供了一个演示程序，如果大家感兴趣的话，我可以再写一篇推送介绍一下！公开数据集汇总虽然最新发布的TITAN没有使用公开数据集，但是。

查全&查新综述，是快速掌握一个领域发展动态的必经之路。今天早上六点多就起来了，起来以后就开始着手写这篇文章。写这篇文章是因为一个群友前两天问我，当时我的第一反应就是行业报告+最新综述。。医学图像的处理，目前大部分都集中于影像组学和病理组学。**既然都要总结医学图像处理的综述了，为何不把基因组学的一起加上？**所以便有了今天的这篇推送。相信很多人都好奇我，以这篇推送为例，我，不到。所以这篇推送的目的不仅是展示医学AI领域目前的最新进展，而是想和大家！查新&查全文献对于部分同学来说很困难。

这篇文章介绍了一个名为BiomedParse的生物医学基础模型，它能够联合进行分割、检测和识别生物医学图像中的物体，覆盖九种不同的成像模式。BiomedParse通过利用自然语言标签或描述来创建一个，从而提高了各个任务的准确性，并启用了通过文本描述分割图像中所有相关物体的新应用。BiomedParse在图像分割任务中的表现超过了现有的方法，尤其是在处理形状不规则的物体时。此外，BiomedParse还能够。