之前的博客介绍了transformer和transformer在CV领域应用的VIT论文，有兴趣的同学可以参考transformer、VIT。VIT虽然在性能上已经达到了目前图像分类的SOTA的程度，但是它需要依赖巨大的数据集，比如Google的JFT都是以亿为单位计算的。显然，作为我们这种个人玩家是无法应用的，那么Facebook继VIT之后，推出ConVit解决了该问题，今天这篇博客就是介绍大家可以应用的在CV领域的transformer-ConVit，话不多说，还是先上连接：ConVi...

之前介绍了通道注意力SENET、空间注意力Spatial Transformer Networks、混合域注意力CBAM、坐标注意力CANET、自注意力Non-local Neural Networks和自注意力与混合域相结合的DANET。主流的注意力模型基本都了解到了，那么接下来，介绍一下目前大热的Transformer。 在2017年,Google提出的Attention Is All You Need在NIPS发表，它完全去掉了RNN和CNN的网络结构，而仅仅使用注意...

之前的文章介绍了一下通道注意力、空间注意力、混合域注意力还有自注意力机制。今天介绍一下利用自注意力和混合域注意力相结合进行图片分割的网络-DANET（Dual Attention Network for Scene Segmentation ），这是发表在CVPR2019上的文章。 在这篇paper中，作者通过基于自注意机制捕获丰富的上下文依赖来解决场景分割任务。不同于以往通过多尺度特征融合来获取上下文的方法，作者提出了一种双注意网络(Dual Attention Netw...

上一篇关于注意力机制介绍到2021CVPR上发表的关于嵌入位置信息的注意力机制Coordinate Attention for Efficient Mobile Network Design，有兴趣的同学可以阅读一下。今天

最近的移动网络设计研究表明，通道注意(例如，挤压和激励注意)对提升模型性能具有显著的有效性，但它们通常忽略了位置信息，而位置信息对于生成空间选择性注意地图非常重要

前面介绍了CVPR2017发表的通道注意力机制：地址和

上一篇介绍了通道注意力机制SENET，有兴趣的同学可以去看一下SENET.

注意力机制：硬注意力和软注意力。硬注意力：是具体到某一数值，例如：分类中的概率最高的一项。硬注意力是不连续的，不可微，所以很难进行训练。神经网络中一般注意力指的是软注意力机制：是指某一区间范围内的连续数值。那么，重点是软注意力是可微的，则我们可以利用神经网络的正向传播进行数值传递，并利用方向传播进行梯度更新，学习到较好的注意力权重。就注意力关注的域来分：空间域(spatial domain)通道域(channel domain)层域(layer domain)混合域(mix.