weixin_41803339的博客

ViT0 前言1 Transformer0 前言 Transformer被广泛使用在nlp领域，在处理序列化数据方面具有优势，最初提出的论文是[attention is all you need](https://arxiv.org/abs/1706.03762) 。之后不断有一些将其用在cv领域的工作，ViT便是最新的工作之一，结构中只使用了transformer，并且在分类方面取得不错的效果。1 Transformer...

1、引言 Peleenet也是轻量级网络家族里面的重要成员，并且在工业产品中得到了广泛应用，接下来就对Peleenet网络加以介绍。论文地址：https://arxiv.org/abs/1804.068822、Peleenet 论文说是借鉴Densenet，但是我感觉不像，我对Densenet的理解就是密集连接，一个DenseBlock里面：前层输出和后面所有层的输入在concatnate（虽然我没有看过Densenet论文~~）。 现在开始搭建~~ ...

1、背景深度学习发展过程中刚开始总是在增加网络深度，提高模型的表达能力，没有考虑实际应用中硬件是否能支持参数量如此之大的网络，因此有人提出了轻量级网络的概念，MobileNet是其中的代表，主要目的在保证网络模型性能的同时，减少模型参数量，提升模型速度和可移植性。2、MobileNet目前mobilenet系列经历的v1～v3的过程，在v1中的核心点是采用了深度可分离卷积，将提取空间特...