weixin_40779727的博客

paper: An Attention Free Transformerdate: 2021-05org: Apple原本基于dot product self attention Transformer的时间复杂度和空间复杂度都很高。提出了一个新的AFT层来降低transformer的计算量。首先回顾一下经典的Multi-Head Attention(MHA)，每一个head的计算如下fi(X)=σ(Qi(Ki)Tdk)Vi, s.t. Qi=XWiQ,Ki=XWiK,Vi=XWiV,(1)f _ { i

收缩因子有6个：embedding的维度、每个stage中block的个数、最后3个stage 的window size、MbConv block的通道扩展率、transformer中MLP的通道扩展率、多头attention，每个头的维度。作者认为主要的原因可能是imagenet21k的有些标签间的类间差异很小，例如椅子和家具，马和动物，因此基于one-hot的GT标签不能很好的表征物体的类别信息。A: 模型的性能随着数据量的增加而呈现加速度不断降低的增大，同样的数据量，最终的性能受限于模型的大小。

手动翻译仅供参考。原文地址： https://arxiv.org/pdf/1806.02559.pdf论文代码的开源地址：https://github.com/whai362/PSENetShape Robust Text Detection with Progressive Scale Expansion Network0 摘要目前文本框检测的鲁棒性面临两个挑战：一是大多数基于四边形边界的检测器很难将任意形状的文本包围在矩形中；二是大多数基于语义分割的检测器可能不会分离彼此非常接近的文本实例。为

论文地址：https://papers.nips.cc/paper/6448-combining-fully-convolutional-and-recurrent-neural-networks-for-3d-biomedical-image-segmentation.pdf论文摘要3D图像的分割是生物医学图像分析中的基本问题。深度学习（DL）方法已经实现了最先进的分割性能。利用神经网络探查...

地址：https://github.com/xinario/awesome-gan-for-medical-imaging

原作者：Zeynettin Akkus & Alfiia Galimzianova & Assaf Hoogi & Daniel L. Rubin & Bradley J. Erickson时间：2017csdn作者链接：https://blog.youkuaiyun.com/xy9476/article/details/80587151(转载为收藏)Abstr...

deepLab v2 论文阅读笔记作者的3个contributions:使用空洞卷积，在不增加计算量的获得增大感受野First, we highlight convolution with upsampled filters, or‘atrous convolution’, as a powerful tool in dense prediction tasks. Atrous con...