highoooo的博客

提出一个仅需要self attention + linear组合成encoder+decoder的模型架构。

通过将图像切成patch线形层编码成token特征编码的方法，用transformer的encoder来做图像分类multihead和我原有的理解偏差修正。我以为的是QKV会有N块相同的copy()，每一份去做后续的linear等操作。代码里是直接用linear将QKV分为一整个大块，用permute/rearrange的操作切成了N块，f(Q,K)之后再恢复成一整个大块，很强。

双向 编码器加上mask做完形填空超大模型无监督预训练 需要整个模型作为pretrain weight到下游任务做fintune总结个毛。

Non-local means可先了解相关内容Non-local meansNon-local Neural Networks作用：突破局部限制，不管是CNN还是RNN计算式图解论文

看完论文就写

真是没啥好说的 简单粗暴 resnet+inception

1 摘要1.1 本文要解决的问题（优化InceptionV1）Here we will describe a few design principles based on large-scale experimentation with various architectural choices with convolutional networks提出了一些被证明有用的、用于扩展网络结构的一般性准则和优化方法，并优化InceptionV12 一般性准则和优化方法2.1 避免在网络初期就将特征极度

文章目录1 本文意图解决什么问题1.1 以前增加depth和width带来的问题2 如何解决增加depth和width带来的问题2.1 提出 Inception 结构，人为构建稀疏连接，引入多尺度感受野和多尺度融合2.2 使用 1X1 卷积2.3 辅助分类器 auxiliary classifiers1 本文意图解决什么问题By a carefully crafted design, we increased the depth and width of the network while keepin