wujing1_1的博客

低剂量计算机断层扫描(LDCT)由于其相关的x射线辐射对患者的潜在健康风险而引起了医学成像领域的广泛关注。然而，降低辐射剂量会降低重建图像的质量，从而影响诊断性能。在过去的几年里，各种深度学习技术，特别是生成对抗网络(gan)，已经被引入到通过去噪来提高LDCT图像的图像质量，比传统方法取得了令人印象深刻的结果。基于高斯的去噪方法通常利用一个额外的分类网络，即鉴别器，来学习去噪图像与正常剂量图像之间最大的区别，从而相应地正则化去噪模型;它通常关注全局结构或局部细节。

卷积神经网络(cnn)已成为医学图像分割的共识。然而，由于卷积运算的性质，它们在模拟远程依赖关系和空间相关性方面受到限制。虽然Trasnformer最初是为了解决这个问题而开发的，但它们无法捕获低级特征。相比之下，研究表明，局部和全局特征对于密集预测至关重要，例如在具有挑战性的环境中进行分割。在本文中，我们提出了一种新的方法HiFormer，它有效地桥接了CNN和Trasnformer，用于医学图像分割。

基于卷积神经网络的医学图像分割方法以其优异的性能得到越来越多的应用。然而，它们很难捕获远程依赖关系，而远程依赖关系对于准确建模全局上下文相关性至关重要。由于能够通过扩展接受域来建立长期依赖关系的模型，基于转换器的方法已经获得了突出的地位。受此启发，我们提出了一种结合卷积神经网络和Transformer架构的先进二维特征提取方法。更具体地说，我们引入了一个并行编码器结构，其中一个分支使用ResNet从图像中提取局部信息，而另一个分支使用Transformer提取全局信息。

分割任意模型(SAM)是图像分割的基本框架。虽然它在典型场景中表现出显著的零射击泛化，但当应用于医学图像和遥感等专业领域时，其优势就会减弱。为了解决这一限制，本文介绍了一种简单而有效的参数高效微调方法——卷积- lora。通过将超轻量级卷积参数集成到低秩自适应(Low-Rank Adaptation, LoRA)中，卷积LoRA可以将图像相关的归纳偏差注入到普通的ViT编码器中，进一步强化SAM的局部先验假设。

多尺度特征对于对象检测、实例分割和语义分割等密集预测任务是必不可少的。现有的最先进的方法通常首先通过分类主干提取多尺度特征，然后通过轻量级模块（如FPN中的融合模块）对这些特征进行融合。然而，我们认为，通过这样一个范例来融合多尺度特征可能是不可取的，因为与笨重的分类主干相比，为特征融合分配的参数是有限的。为了解决这一问题，我们提出了一种新的结构&级联融合网络(CFNET)用于密集预测。在CFNET中，除了提取初始高分辨率特征的STEM和几个块外，我们还引入了几个级联阶段来生成多尺度特征。

自监督对比学习的最新进展产生了良好的图像级表征，这有利于分类任务，但通常忽略了像素级的详细信息，导致转移到密集预测任务（如语义分割）的性能不尽人意。在这项工作中，我们提出了一种被称为CP2（Copy-Paste Contrastive Pretraining）的像素级对比学习方法，它有利于图像和像素级表征的学习，因此更适用于下游的密集预测任务。具体来说，我们将一幅图像（前景）的随机裁剪部分复制粘贴到不同的背景图像上，并对语义分割模型进行预训练，目的是：1）区分前景像素和背景像素；

得益于深度学习的发展，计算机视觉技术在医学图像分析中得到了广泛的应用。图像分割是医学图像分析的重要组成部分。特别是准确、鲁棒的医学图像分割可以在计算机辅助诊断和图像引导的临床手术中发挥基石作用。现有的医学图像分割方法主要依赖u型结构的全卷积神经网(FCNN)。典型的u型网络，U-Net，由一个具有跳跃连接的对称编码器-解码器组成。在编码器中，采用一系列卷积层和连续降采样层来提取接收感受野的深度特征。然后，解码器将提取的深度特征向上采样到输入分辨率进行像素级语义预测，并通过跳跃连接融合来自编码器的不同尺度的高

图像分割在单个图像块的层次上通常是模糊的，需要上下文信息才能达成一致。本文介绍了一种用于语义切分的转换模型 Segmenter。与基于卷积的方法相比，我们的方法允许在第一层和整个网络中对全局上下文进行建模。我们以最近的视觉转换器（ViT）为基础，将其扩展到语义分割。为此，我们依赖于与图像块对应的输出嵌入，并使用逐点线性解码器或掩码 Transformer 解码器从这些嵌入中获取类标签。我们利用预先训练的图像分类模型，并表明我们可以在中等大小的数据集上对其进行微调，以进行语义分割。...

此篇论文通过金字塔池化模块(Pyramid Pooling Module)和基于此提出的金字塔场景解析网络(PSPNet)，聚合了基于不同区域的上下文信息，来挖掘全局上下文信息的能力；金字塔池化模块产生的全局先验表示在场景解析任务上产生了良好的效果，在4种数据集上达到了最先进的性能。场景解析的难度主要源于场景和标签的多样性(现有的算法在这方面做得不是很好，分割精度也比较低)，所以需要准确地感知场景，场景上下文的先验信息很重要(不同类别之间的关联)在基于FCN的像素预测框架中，我们提出了一种。...

SegNet之前，语义分割的许多方法都是直接采用设计图像分类的方法去解决，虽然有时获得的结果还说得过去，但总体来说比较粗糙。其实很容易理解为什么，在图像分类的过程中，我们都是将特征图进行多次卷积与max pooling，并进行展开为全连接层，最终依赖softmax等函数进行概率的计算，在此过程中，图像经过一系列下采样早已经失去了边界信息，边界信息的丢失对于图像分类没有什么影响，但是图像分割就不一样了，它需要根据边界来细致的将某个物体分割出来。...

UNet最早发表在2015的MICCAI上，短短3年，引用量目前已经达到了4070，足以见得其影响力。而后成为大多做医疗影像语义分割任务的baseline，也启发了大量研究者去思考U型语义分割网络。而如今在自然影像理解方面，也有越来越多的语义分割和目标检测SOTA模型开始关注和使用U型结构，...

视觉Transformer(ViT) 因其在计算机视觉任务上的卓越性能而备受关注。为了解决其单尺度低分辨率表示的局限性，先前的工作使 ViT 适应具有分层架构的高分辨率密集预测任务，以生成金字塔特征。然而，鉴于 ViT 的类似分类的顺序拓扑结构，多尺度表示学习在 ViT 上的探索仍然不足。为了增强 ViTs 学习语义丰富和空间精确的多尺度表示的能力，在这项工作中，我们提出了高分辨率多分支架构与视觉Transformer的有效集成，称为 HRViT，推动了密集的帕累托前沿预测任务提升到一个新的水平。作者探索了

位置注意力模块和通道注意力模块，论文在Cityscapes，PASCAL Context和COCO数据集上都取得了SOTA效果。在位置注意力模块中，任一位置的特征的更新是通过图像所有位置上特征的带权聚合进行更新，权重是由两个位置上特征的相似性决定的，也就是说无论两个位置的距离只要他们的特征相似那么就能得到更高的权重。通道注意力模块中也应用了相似的自注意力机制来学习任意两个通道映射之间的关系，同样通过所有通道的带权加和来更新某一个通道。将空间维度和通道维度上的语义信息分开进行提取，最后再做特征融合。...

存在的问题：Non-local也说了它自己存在的问题，就是十分吃显存，于是呢，有了问题，就要解决：上下文信息对于语义分割和目标检测任务都很重要，这里提出CCNet。对于每个像素，criss-cross attention模块能获得其交叉路径上所有像素的上下文信息，通过进一步的递归操作，每个像素最终可以捕获全图像的依赖关系。此外，提出类别一致损失使得criss-cross attention模块生成更具判别性的特征。...

deeplab-v3+是一个语义分割网络，它基于deeplab-v3，添加一个简单有效的Decoder来细化分割结果，尤其是沿着目标对象边界的分割结果，以及采用空间金字塔池模块或编解码结构二合一的方式进行实现。...

计算机视觉中的Transformer最近取得了令人鼓舞的进展。在这项工作中，作者通过添加3个改进设计来改进原始金字塔视觉Transformer（PVTv1），其中包括：通过这些简单的修改，PVTv2在分类、检测和分割方面显著优于PVTv1。此外，PVTv2在ImageNet-1K预训练下取得了比近期作品（包括 Swin Transformer）更好的性能。PVTv1[33]的主要局限性有以下三个方面:(1)与ViT类似，在处理高分辨率输入时(如短边为800像素)，PVTv1的计算复杂度相对较大。(2) PV

之前的所总结的ViT backbone，本身并没有针对视觉中诸如分割、检测等密集预测型的任务的特定，设计合适结构。后续SERT等论文也只是简单的将VIT作为Encoder，将其提取到的单尺度特征通过一些简单的Decoder的处理，验证了transformer在语义分割任务上的效果。但是，我们知道，在语义分割任务上，多尺度的特征是非常重要的，因此在PVT中提出了一种能够提取多尺度特征的vision transformer backbone。我们知道，ViT 的设计方案中输出的特征图和输入大小基本保持一致。将其

人类在识别物体上往往是通过多角度多层次的观察来得出物体类别的，包括物体的形状、纹理、位于什么环境背景中、其中包含了什么等等。比如，一扇窗，材质是玻璃，位于墙上，形状为矩形，综合这一堆结论，我们得出：哦！这是一扇窗。在CV界，有做场景分析的、做材质识别的、做目标检测的、做语义分割的等等，但是很少有将这些任务集成在一个model上的研究，也就是Multi-task任务。而Multi-task learning的数据集较少，同时制作也较为困难，因为对于不同任务的数据标签是异质的。比如，对于场景分析的ADE20K数

SegFormer论文详解，2021CVPR收录，将Transformer与语义分割相结合的作品，动机来源有：SETR中使用VIT作为backbone提取的特征较为单一，PE限制预测的多样性，传统CNN的Decoder来恢复特征过程较为复杂。主要提出多层次的Transformer-Encoder和MLP-Decoder，性能达到SOTA。SegFormer是一个将transformer与轻量级多层感知器(MLP)解码器统一起来的语义分割框架。SegFormer的优势在于：这种架构类似于ResNet,Swin

BiseNet又称，一般架构是，一边是一个较为粗糙的特征提取网络作为一边，而另一边可以由经典的特征提取网络(EfficientNet,resNet,xception)组成,而我们今天的主角BiseNetv2，也类似该架构，在上面（也就是DetailBranch）是一个较为简单的特征提取网络，我们先从他开始构造，他在作者提供的架构图中是这样的(k是卷积核大小，c是输出单元数，s是步长，r是该层重复次数)与几种最新的实时语义分割方法相比，BiSeNet V2具有良好的性能。具体来说，对于2048x1,024的输

2019-BiSeNetV1 CVPR论文地址：https://arxiv.org/abs/1808.00897代码地址:https://github.com/CoinCheung/BiSeNet1. 简介1.1 挑战基于轻量化网络模型的设计作为一个热门的研究方法，许多研究者都在运算量、参数量和精度之间寻找平衡，希望使用尽量少的运算量和参数量的同时获得较高的模型精度。目前，轻量级模型主要有SqueezeNet、MobileNet系列和ShuffleNet系列等，这些模型在图像分类领域取得了不错

DeepLabV3+论文翻译Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation基于Atrous可分离卷积的语义图像分割编码器-解码器摘要深度神经网络采用空间金字塔池化模块或编解码结构进行语义分割。前一种网络能够通过多速率和多有效视场的滤波或池化操作探测进入的特征来编码多尺度的上下文信息，而后一种网络能够通过逐步恢复空间信息来捕获更清晰的物体边界。在这项工作中，我们建议结合两种方法的优点。

FCN论文解读首个端对端的针对像素级预测的全卷积网络FCN是一个end-to-end的网络，实现像素级别（pixel-wise）的分类，即对每一个像素点都可以进行分类，在语义分割任务上取得了很不错的效果！FCN论文地址：FCN paperFCN原作代码：FCN github论文共分为6个部分介绍相关工作全卷积网络分割网络结果结论本次讲解具体讲介绍，全卷积网络，分割网络3个部分1. 简介首先介绍一下FCN的背景和工作成果fakerlove/cv (gitee.com)1

文章原址文章目录FCN论文翻译摘要1. 介绍2. 相关工作3. 全卷积网络3.1 适用分类器用于dense prediction3.2 Shift-and stitch是滤波稀疏3.3 上采样是向后向卷积3.4 patchwise训练是一种损失采样4.分割架构4.1 从分类器到密集的FCN4.2: 结合什么和在哪里4.3: 实验框架5. 结果6. 结论FCN论文翻译深度学习与TensorFlow:FCN论文翻译 - 知乎 (zhihu.com)AbstractConvolutional netwo

文章原址文章目录Unet论文翻译摘要1. 介绍2. 网络结构3. 训练3.1 数据扩充4. 实验5. 结论Unet论文翻译摘要人们普遍认为深度神经网络需要大量的带标签的样本（数千个）进行训练。在本论文中，我们提出了一个网络和训练策略，更有效的利用了数据，以便更有效地使用可用的带标签的样本。我们使用数据扩张的方法(data augmentation)。由两部分组成：一个收缩路径(contracting path)来获取context information以及一个对称的扩张路径(expanding p