qq_45981086的博客

NLNet、GCNet和RTNet都是十分优秀的网络，但是很明显GCNet和RTNet都抛弃了非局部均值滤波的思想，基于非局部均值滤波获取远程依赖关系的网络是否还能有更进一步的改进呢？此外，作为最新的cv，RTNet采用多任务和交叉注意的策略，这是现今比较流行的医学图像处理策略。GCNet的成功也表明在理论上的公式推导应用于网络构建上是十分重要的。W_k。

GCNet: Non-local Networks Meet Squeeze-Excitation Networks and Beyond（当非局部网络遇到挤压激励网络）论文总结和代码实现。

Non-local Neural Networks（非局部神经网络）论文总结和代码实现。

RTNet: Relation Transformer Network for Diabetic Retinopathy Multi-lesion Segmentation论文总结

论文：Boundary Constraint Network With Cross Layer Feature Integration for Polyp Segmentation。

DWT(Discrete Wavelet Transformation)代表离散小波变换。作用：对于图像来说，它能够将图像变换为一系列的小波系数并将这些系数进行高效的压缩和储存，并且小波的粗略边缘消除了DCT压缩普遍具有的方块效应从而可以更好地还原和表现图像。

在本文中，研究了通道注意力的一个基本问题，即如何表示通道，并将此问题视为一个压缩过程。证明了GAP是DCT的一个特例，并提出了具有多谱注意力模块的FcaNet，它在频域上推广了现有的信道注意力机制。同时，在多谱框架中探索了频率分量的不同组合，并提出了频率分量选择的三个标准。在相同数量的参数和计算成本的情况下，本文提出的方法可以始终优于SENet。与其他通道注意力方法相比，我们在图像分类、对象检测和实例分割方面也取得了最先进的性能。此外，FcaNet简单而有效。

Blood Vessel Segmentation from Low-Contrast and Wide-Field Optical Microscopic Images of Cranial Window by Attention-Gate-Based Network论文总结。

本文提出了一种用于医学成像的新型注意门（AG）模型，该模型可以自动学习聚焦于不同形状和大小的目标结构。使用AG训练的模型可以不显著地学习输入图像中需要抑制的不相关区域，同时突出对特定任务有用的显著特征。这样就无需再使用级联卷积神经网络（CNNs）的显式外部组织/器官定位模块。AGs可以很容易地集成到标准的CNN架构中，如U-Net模型，只需最少的计算开销，同时提高了模型的灵敏度和预测精度。1. 提出了基于网格的门控，使注意系数更聚焦于局部区域。该方法可以用于密集预测。2. 提出的soft-attention

注意力机制：我们会把我们的焦点聚焦在比较重要的事物上。对于一个模型而言（CNN、LSTM），很难决定什么是重要的，什么是不重要的，由此注意力机制诞生了。对于一张热力图而言，我们不难发现人类的注意力主要集中在该图的“红色”区域，这些“红色”区域（人脸、标题、段落开头）可能包含更多的更重要的信息。

CBAM模块可以顺序地推导出两个独立维度的注意力图（通道和空间），然后将注意力乘到输入特征图上进行自适应特征细化。CBAM模块中子模块Channel attention module与SE模块十分相似，都是经过池化层、全连接层，最后由softmax函数得到channel权重，并且提出了空间注意力提取的子模块，最终得到的特征图同时包含空间和通道注意力。

在SKNet中可以看到许多SE模块的痕迹，总的来说SK模块先是通过不同的卷积核将输入特征图进行划分为几个不同的子特征图，再将子特征图相加融合，再经过压缩和softmax处理，得到各种内核上的注意力权重，再与对应子特征图相乘，再相加得到最终的输出特征图V，这个特征图既融合了多个感受野的信息，具有了多尺度的信息。

SE模块（Squeeze-and-Excitation Networks）论文总结和代码实现