10、利用预训练模型进行病理图像分析与对比学习

利用预训练模型进行病理图像分析与对比学习

在医学图像分析领域，如何充分利用已有的监督和自监督预训练模型进行病理生存分析是一个重要的研究方向。同时，针对病理图像的独特特性，将对比学习方法应用于其中也具有重要意义。下面将详细介绍相关的研究内容。

联合表示调优（JRT）框架

JRT 框架旨在将监督和自监督模型的低维特征拼接起来，输入到一个简单的多层感知器（MLP）中，用于下游的生存和诊断分析。为了评估预训练编码器提取的表示质量，研究人员进行了生存预测分析作为下游任务，使用深度生存损失作为损失函数，并采用一致性指数（C - Index）作为生存预测的评估指标。C - Index 定义为所有未删失测试样本中预测生存时间顺序正确的比例。

利用预训练模型的不同策略

• No - freeze ：预训练网络中的所有权重都可以使用下游任务数据进行自由微调，预训练权重仅作为权重初始化。
• Encoder - Freeze ：冻结编码器（如卷积编码器或基于视觉变压器的编码器），不改变其权重，仅对特征进行微调。
• Feature - Direct ：这是一种“两阶段”框架，在提取特征后丢弃特征编码器，直接将提取的特征用于下游分类。该策略的优点是不使用编码器，内存消耗最小，但缺点是无法进行在线数据增强。

实验设置

• 数据描述
  • 生存预测任务 ：