寸先生的AI道路

YOLO领域太卷，2025年2月18日YOLO12来袭。由于官方发布的只是技术报告，详细细节还有待代码阅读后补上，因此只是简单解读。

这里可以从网上下载王者荣耀游戏视频，或者本地游戏时候保存的视频，然后用视频工具或者QQ截屏截取不同的游戏画面图片后，用labelme手动标注。我这里标注了886张图片，共计6个英雄状态类别：attacked_by_tower(被塔打), death(死亡),destroy_towers(打塔), kill_heroes(杀死英雄), kill_minions_monsters(杀怪), killed(被杀)，其中划分数据集如下：训练集619张，验证集177张，测试集90张。

后面可以看到代码实现也是按照N/2写的。

医学图像异常检测

提出了一种新型的用于医学图像分割的深度学习模型MOSformer。它主要通过双编码器设计和动量更新方法来提高2.5D医学图像分割模型的性能，其中一个编码器使用动量更新保持切片表示的一致性。此外，它还引入了一种名为IF-Swin的变换器模块，通过在切片维度扩展窗口自注意力机制，实现多尺度特征图之间的有效融合。

在BraTS2018和BraTS2019数据集上，该方法展现出优越性能，超越了单模态方法和多种最新的多模态方法，实现了高准确性和鲁棒性的脑肿瘤分级。特点：RMC结合了2D和3D卷积，包括一个包含3D卷积层的主体，一个3D卷积块和三个2D卷积块。特点：利用主要模态的高级别特征和次要模态的低级别特征之间的引导，来强调更具信息性的特征，同时抑制较少信息的特征。根据单模态模型的表现，将模态分为主要模态和次要模态。将其提出的方法与三种基本的多模态融合方法以及两种现有的MRI多模态分类方法进行了比较。

4篇应用解耦表示学习的文章，这里只关注如何解耦，更多细节不关注，简单记录一下。

此外，提出了一种区域感知的对比学习方法，以进一步引导网络学习与目标区域相关的特征表征，从而提高分割精度。为了解决这个问题，作者提出了将学到的特征表示分解为与目标肿瘤区域相对应的多个因子，使网络能够提取对分割任务更有意义的特征。总体来说，2.1节强调了解耦表征学习在提高特征表示效果和可解释性方面的重要性，并展示了它在处理复杂的医学图像数据，尤其是脑肿瘤分割方面的潜力。：在实现上，作者采用了一种对比损失函数，这种损失函数鼓励模型产生的特征表征在相似区域内紧密，而在不同的区域间相隔较远。

这个架构主要由四个部分组成：跨视图的自注意力编码器（Self-Attention Encoders, SAE）、特定维度的自注意力编码器（Dimension-specific Self-Attention Encoders, DS-AE）、维度内交叉注意力编码器（Intra-dimension Cross-Attention Encoders, IntraCAE）和维度间交叉注意力编码器（Inter-dimension Cross-Attention Encoders, InterCAE）。

因此，构建了一个涵盖39026个病例（192675次扫描）、7个人体解剖区域和9种不同模态的长尾多扫描医学疾病分类数据集，覆盖了930个ICD-10-CM代码和5568种疾病，称为Radiopaedia3D诊断数据集（RP3D-DiagDS）。在架构设计上，展示了一个支持来自各种模态的2D和3D输入的新模型，以及用于全面诊断的基于变压器的融合模块。第三，在ICD-10-CM的无序映射过程中，注释器被标记在类名称级别，即仅提供无序名称，导致一些不明确的类无法找到严格对应的ICD-10-CM代码。

这篇论文由中山大学的林荣昊和胡海峰撰写，主要聚焦于提高多模态机器学习在多模态情感分析（MSA）领域的鲁棒性

SAM类医学图像分割选读概述

本文提出了一种名为“标签辅助变换器编码器（TATE）网络”的新型多模态情感分析方法，旨在解决在不确定的多模态数据中部分模态缺失的问题。该方法通过引入一个标签编码模块来处理单个或多个模态的缺失情况，引导网络注意力集中于缺失的模态。此外，还采用了一种新的空间投影模式来对齐共同的向量，并使用变换器编码器-解码器网络来学习缺失模态的特征。实验表明，该模型在CMU-MOSI和IEMOCAP数据集上比几个基准模型表现更好，显示了该方法的有效性和优越性。

本文介绍了一种名为多尺度多模态视觉变换器（MMMViT）的新方法，用于解决脑肿瘤分割中缺失模态的问题。MMMViT 利用跨模态之间的相关性，将直接融合可用模态特定特征到共享潜在空间的过程分解为两个简单步骤，以降低学习共享潜在表示的难度。此外，该方法通过卷积编码器为每种模态提取的局部多尺度特征，输入到模态内部的变换器块中，从而隐式捕获全局多尺度特征，以适应不同大小的脑肿瘤。MMMViT 在 BraTS 2018 数据集上的验证结果表明，该方法不仅在大多数输入案例中优于现有的 mmFormer 方法，而且还提高

Swin UNETR结合了Swin Transformer（作为编码器）和基于卷积神经网络的解码器，通过不同分辨率的跳跃连接相连。在BraTS 2021挑战中，Swin UNETR在验证阶段名列前茅，并在测试阶段展现出了竞争力的性能，显示出其作为一个新类别的分层编码器的Transformer基础模型在脑肿瘤分割任务中的潜力。本文模型使用Swin Transformer（Encoder）+类Unet（Decoder），由于是BraTS 2021挑战赛作品，使用数据集单一，网络结构图画的很清楚，不做展开记录。

这项研究显示，TraBS模型在内部和外部验证集上的表现优于现有的基于卷积神经网络的模型（如nnUNet），尤其在处理乳房密度和背景腺体增强（BPE）方面的自动量化评估。研究的目的是提高乳房MRI筛查中乳房密度和腺体增强量化的准确性。这些结果表明，相较于传统的基于CNN的模型，基于变压器的TraBS模型在乳房MRI中纤维腺体组织的分割任务上表现出更高的精度和泛化能力。重点对比了基于Transformer的模型TraBS与传统的基于卷积神经网络的模型（如nnUNet）在内部数据集和外部数据集上的性能表现。

具体来说，在三维医学图像中，体素可能在垂直于切片的方向（通常是Z轴）上的尺寸与在切片内（即X轴和Y轴）的尺寸不同。引言部分还提到，尽管存在大量未标记数据，但医学图像在成像方式（例如CT、MRI、超声等）和空间属性（如2D和3D空间维度、不同的体素间距和空间形状）方面的高度异质性，使得使用统一的模型结构处理所有类型的医学图像变得非常困难。本文的目标是通过引入空间自适应卷积（SAC）模块和改进的视觉标记器，预训练一个能够处理广泛医学图像的通用视觉变换器，以解决在医学图像分析中标记数据稀缺的问题。

同时，还探讨了这些方法在不同医学图像模态（如CT、MRI、X射线等）中的实际应用，以及它们面临的挑战和未来的发展方向。这一部分从四个方面探讨了ViTs在医学图像分割中的应用，包括ViT在编码器（Encoder）、解码器（Decoder）、编码器-解码器中的应用，以及ViT在编码器和解码器之间的应用。本文中规中矩，对涉及到的方法只是简单陈列，并没有细致的优缺点探讨，可以作为寻找对应方向论文的一个参考，笔记中对涉及到的方法根据之前读文经历进行简单的优缺点归纳。ViT在解码器(decoder)中的应用。

在本文中，特别审视了现有工作，通过不同的预训练目标、架构、下游评估任务和用于预训练及下游任务的数据集的视角。在预训练阶段，自监督方法不依赖于真实标签，而是使用数据中的其他形式的自生成的监督作为目标函数来训练预测模型。预训练后，训练好的模型用于学习使用真实标签的特定下游任务。不同的视觉提示往往在不同的视图上更明显，并且利用这些不同的视角（如果可用）可以增强学习的表示，并证明在下游评估任务中是有益的。：利用预训练模型的泛化能力，通常通过将分割任务转化为模型可以处理的形式，如利用模型在预训练过程中学到的特征。

这一部分就是在DeepLab基础空间金字塔池化（ASPP）基础上做了微小改变，通过设置不同的膨胀率，使用空洞卷积提取不同尺度的特征，与ASPP不同，RASPP模块包括附加的残差分支，其将原始特征连接到从不同膨胀率提取的特征。Attention gate (AG) module：AG是模仿人类视觉学习算法，专注于目标位置，并学习最大限度地减少冗余特征的特征图，同时强调重要的特征信息，以执行特定的任务，从图中可以看出来就是普通的注意力加权，只是换了一种说法而已。这种不均匀性会模糊病变特征，影响神经网络学习。

通过这种方法，模型可以更有效地学习并适应不同复杂度的分割任务，从而在脑肿瘤分割领域中实现更好的性能。这种逐步学习的方法有助于模型更好地理解和适应脑肿瘤分割任务的复杂性，从而提高最终分割结果的准确性和一致性。这种方法通过针对不同肿瘤等级进行特定的训练，有助于模型更准确地分割各种类型的脑肿瘤，并提高其在实际临床应用中的有效性和可靠性。：接着，在WT区域内，根据T1对比增强（T1ce）图像中的高信号和低信号（与T1图像和T1ce图像中的健康白质相比）来界定肿瘤核心区域，该区域由ET和NCR/NET亚区组成。

在本文的Introduction部分，提出了Uncertainty Quantification（不确定性量化）的背景：由于固有的不确定性，如MRI的低对比度或不同专家之间的注释的变化，医学分割问题往往是模糊的。这个公式的核心思想是，模型的总不确定性可以分解为两个部分：一部分是由于模型自身的不确定性（Epistemic Uncertainty），另一部分是由于输入数据的随机性（Aleatoric Uncertainty）。这样，不确定性映射就可以作为一个附加的约束信息，自动辅助网络获得更好的分割结果。

具体来说，它促使学生网络的潜在空间特征尽可能接近教师网络的特征，同时确保这些特征不是冗余的或过度相关的。Barlow Twins损失的核心思想是通过使网络的两个不同视角（或变换）的输出尽可能相似，同时保持这些特征表示的独立性，从而提高网络学习到的特征的质量。深度监督意味着这种损失不仅在网络的最终输出上计算，还在网络的多个层级上计算，从而促进网络在不同深度上学习更有效的特征表示。：知识蒸馏是在单阶段框架内进行的，意味着教师和学生网络是同时训练的，但在训练一个时候，固定住另外一个的参数。最后一个解码器的输出。

本文的论文数据截止至2022年，2023年又多了很多结合transformer、流模型、扩散模型的新方法，其实也可以归入本文 提到的几大类方法中，这几大类方法中，合成模型受限于合成数据和真实病理数据的差异，在特定条件下可能不会提高性能；它探讨了在医学成像领域，特别是在肿瘤分割、组织分类和图像生成等任务中，如何处理MRI序列中缺失的模态，并克服这种缺失带来的负面影响。：结合了3D U-Net和多模态变分自编码器（MVAE）的网络，旨在通过建立一个共同的潜在空间来重构缺失的MRI模态，并进行图像分割。

M³Care不是生成原始缺失数据，而是在潜在空间中估计缺失模态的任务相关信息，利用来自具有相似未缺失模态的其他病人的辅助信息。因此，为了聚合来自相似的信息，将一批患者的表示表示为每个模态中的一个图，相似度矩阵。：作者通过在真实世界数据集上的实验，展示了M³Care在各种评估指标上优于现有基线模型的性能，并且其发现与专家意见和医学知识一致，显示出提供有用见解的潜力。：M³Care模型通过任务引导的模态适应性相似性度量来识别相似的患者，并利用这些相似患者的未缺失模态数据来估计目标患者的缺失信息。

在这种方法中，学生模型（单模态输入）被训练以模仿教师模型（多模态输入）的输出。这种方法的关键在于使学生模型的预测尽可能接近教师模型的预测，从而学习到教师模型的知识。原型知识蒸馏是本文的创新点，它不仅考虑像素级的知识，还关注类内和类间的特征变化。这种方法的核心在于捕捉并传递教师模型中的内部语义关联，这是通过计算每个类别的原型（即类别的特征中心）并分析像素特征与这些原型之间的cos相似度来实现的。本文的创新点在于提出了一种新颖的原型知识蒸馏（ProtoKD）方法，用于解决医学影像分割中的缺失模态问题。

GSS框架通过在每个预测类别中形成基于模态敏感性的自我支持群体，并选择最敏感的预测作为群体领导者，从而实现模态间的有效知识蒸馏。通过在BraTS数据集上的实验，GSS框架显示出了显著的性能提升，特别是在处理缺失模态的情况下。当达到一定的迭代次数后，其效果会逐渐减弱，因为GSS框架能够在大多数位置选择正确的预测，但随机遮罩可能会丢弃这些预测，从而无法改善知识蒸馏效果。这些创新点表明，作者提出的方法在处理不完整多模态脑肿瘤分割任务时，能够有效地利用不同模态之间的互补信息，从而提高分割性能。

RFM是RFNet的一个关键组成部分，它的主要目的是根据不同脑肿瘤区域的特性，适应性地融合来自不同MRI模态的特征。：接下来，RFM通过两个全连接层、一个Leaky ReLU层和一个Sigmoid激活函数，将规范化的全局特征嵌入到模态级别的注意力权重中。：为了获取每个区域的全局特征，RFM对每个区域的特征执行区域规范化池化操作。本文的核心思想是提出了一个名为RFNet（Region-aware Fusion Network）的新型网络架构，用于处理不完整的多模态脑肿瘤分割问题。这样促进了以后的特征融合。

本文的核心思想是提出了一种名为“分布一致的模态恢复（DiCMoR）”的新方法，用于处理不完整的多模态学习中的缺失模态问题。传统的方法通常直接通过深度神经网络从观测到的模态估计缺失模态，但这种方法忽略了不同模态间分布差异，导致恢复的数据与真实数据在分布上不一致。具体来说，该方法设计了一种基于类别特定流的模态恢复方法，通过条件样本类别来转换跨模态分布，从而能够预测缺失模态的分布一致空间。此外，可视化结果显示，与缺失模态相比，DiCMoR恢复的模态在分布上的差距得到了明显缓解。的变换的“缩放”效果。

这个网络的核心思想是通过两个阶段的解耦来处理多模态磁共振成像（MRI）数据中的脑肿瘤分割问题，特别是在缺少某些成像模态的情况下。😗*ModalityDisentanglementStage(MD-Stage)：**MD-Stage的主要目标是解耦MRI数据中的模态特定信息，使模型能够在缺少某些模态的情况下仍然有效地进行脑肿瘤分割。在频率域中，模型转换模态特定代码经过离散傅里叶变换到频率谱，并进行类似的对比学习，以进一步增强模态特定信息的分离。），这些模态特定代码被转换为肿瘤特定的模态代码。

然后，提出一种多模态Transformer来建模多模态特征的相关性，并学习缺失模态的特征。Multimodal decoder：多模态共享权解码器采用对称结构设计，具有反卷积和跳跃连接，逐步结合编码器和transfomer的多模态和多层特征，在原始图像空间中生成分割mask。为了从完整模态中更准确地学习缺失模态的特征，提出了缺失-完全互补学习策略，该策略由两个对称的网络流组成，用于完整模式和缺失模式的脑肿瘤分割，使用MSE损失引导 缺失模态分支的分割预测接近完整模态。,对应MRI中的四个模态。

Edge-Preserving Masked AutoEncoder：类似于MAE结构，但MAE由于只采用像素级损失，忽略了边缘轮廓情况，对于医学图像会影响性能，因此本文使用双decoder，以多任务方式训练，一个decoder输出还原的像素图像，另外一个输出边缘图，与Sobel算子提取的边缘对照。通过计算这些特征之间的差异，模块生成一个特征一致性损失（Feature Consistency Loss），用于量化合成图像和真实图像在感知层面的差异。）和相应的缺失模态真实图像（记为。

对于生成器来说，目前的大多数方法都采用像素级生成约束来最小化生成图像与GroundTruth的之间的平均距离，忽略了更有效、更直接的特征级监督。这个模型结合了自编码器（AutoEncoder）和生成对抗网络（GAN）的特点，旨在提高医学图像合成的质量，特别是在单模态图像到图像的转换中。本文的核心观点是关于一种名为AE-GAN（AutoEncoder-Driven Generative Adversarial Network）的新型深度学习模型，它专注于医学图像合成的应用。在合成网络中的应用。

设计两种不同的学习路径，1)以完整的模式作为输入的路径，2)输入带有缺失模式的路径。本设计的主要目标是将全模态路径中的信息蒸馏到缺失模态路径，其中协同训练策略鼓励缺失模态网络重构缺失信息。KL散度:量化两种路径风格分布之间的匹配，将缺失的模态分布对齐到全模态版本，因此，它学会了通过学习后验分布来恢复缺失的信息。MSE损失:最大化两个表示的纹理之间的相关性,计算Gram矩阵元素的均方误差，这些元素是为每条路径创建的。对抗损失：将缺失模态的特征分布与全模态的特征分布对齐，以重新获得缺失的信息。

作者提出了一种基于Transformer的融合模型，名为“基于注意力的交叉模态融合与对比”（ARMOUR），使用特定于模态的代号和对比学习。: 使用两种输入模态（结构化测量和非结构化文本），跨六个临床预测任务进行ARMOUR评估，包括两种评估制度 - 包括和排除有缺失模态的患者。: 解决整合来自各种医疗来源的结构化和非结构化数据的挑战，同时考虑数据的维度、容量和时间特性的差异。该论文介绍了一种用于临床预测的多模态机器学习方法，特别关注在医疗保健数据中缺失模态的情况。数据集：MIMIC-III。

对模态的随机子集进行采样，以模拟真实情况，除此之外，我们还对剩余模态的3D patch进行随机掩蔽，就像原始的自然图像MAE一样。从整体上恢复被掩蔽的模态需要网络利用全局的模态间相关性，而恢复被掩蔽的patch需要利用模态内结构完整性和局部的模态间相关性。作者认为：原始的自然图像MAE与论文M3AE的一个显著区别是，前者的掩蔽patch只能从周围的像素中推断出来，而后者的掩蔽patch可以从其他模式中额外推断出来，因此预期更容易。替换被屏蔽的内容，并按照与非屏蔽内容相同的方式处理它们，而不是丢弃它们。

在过去的研究中，大多关注于如何处理测试数据的模态不完整性，而对于训练数据的模态不完整性，尤其是严重缺失的情况，探讨较少。结果表明，SMIL在处理严重模态缺失的多模态学习问题方面，相比现有方法和生成型基准（如自编码器和生成对抗网络）具有更好的性能。该网络利用可用的模态信息来生成缺失模态的近似值，从而在潜在特征空间中生成完整的数据，并促进两个方面的灵活性。另一方面，在测试时，通过打开或关闭特征重建网络，该模型可以以统一的方式处理不完整或完整的输入。然后，将方差用作特征正则化的权重，以减少特征之间的差异。

基于多模态MR图像分解为共同和模态特定特征，设计了一个共享超编码器，将每个可用模态嵌入到特征空间中，一个基于图注意力的融合块来聚合可用模态的特征到融合特征，和一个共享超解码器用于图像重建。在分类器中使用梯度反转层GRL（在正向传播过程中相当于恒等连接，在反向传播过程中，将该参数乘以-1，使得梯度方向反转），这个约束反过来强制分类器C不能区分这些融合特征的形式，从而迫使超编码器E和融合块U在一个共同的特征空间内产生融合特征。每个图节点对应于每个模态的特征，节点的数量动态地适应于可用模态的数量。

首先，可用的MR模式被输入到单独的编码器，以学习每个模式的独立特征。然后，提出一种多模态特征融合模型，提取用于分割的信息特征，包括跨模态融合模块和多尺度融合模块。此外，利用基于空间一致性的潜特征学习模块，利用潜多模态相关，学习相关特征，有利于分割。然后，实现多任务学习路径，包括缺失模式的模态生成任务、可用模式的模态重建任务和脑肿瘤分割任务。，这组相关系数描述了不同模态之间的非线性关系，可以用于表达某个模态与相关特征之间的关系。这样，网络就可以学习交叉模态特征，增强重要特征，抑制弱特征。

本文利用潜在空间的共享特征表示增强共享特征表示，利用特征重建方法重构缺失模态的融合特征。为了获得更好的脑肿瘤共享特征表示，强制缺失的模态路径学习完整模态路径的丰富特征表示，使其潜在的特征表示尽可能接近。此外，为了确保共享特征表示与全模态一致，缺失模态和全模态路径都使用一个共享的卷积解码器。为了进一步增强共享特征表示，对缺失路径和完整路径都使用了一个共享解码器，这强制共享特征表示与全模态的潜在特征保持一致。包含重建缺失模态特征的模块，利用可用模态的信息恢复缺失模态的融合特征。