酒酿小圆子呀～

从第一篇真正意义上的深度学习方法语义分割模型FCN说起，语义分割发展了不足六年的时间，经典的SegNet，Deeplab系列，DenseASPP等等，再到近些年来研究热点的NAS方法。一些轻量化语义分割算法，如DFANet、BiSeNetV1，采用了轻量化backbone来减少计算量，但它们都是直接使用为分类任务设计的backbone，无法充分发挥在语义分割领域中的性能。可以通过考虑像素之间的先验关系来避免这些问题，例如，对象是连续的，因此附近的像素往往具有相同的标签。：BiSeNet的轻量化。

本内容主要介绍 Transformer 模型的具体实现。2017 年，Google 在论文 Attention is All you need 中提出了 Transformer 模型，其使用 Self-Attention 结构取代了在 NLP 任务中常用的 RNN 网络结构。相比 RNN 网络结构，其最大的优点是可以并行计算。

目标的多尺度一直是目标检测算法极为棘手的问题。像Fast R-CNN，YOLO这些只是利用深层网络进行检测的算法，是很难把小目标物体检测好。因为小目标物体本身的像素就比较少，随着降采样的累积，它的特征更容易被丢失。为了解决多尺度检测的问题，传统的方法是使用图像金字塔进行数据扩充。虽然图像金字塔可以一定程度解决小尺度目标检测的问题，但是它最大的问题是带来计算量的极大的增加，而且还有很多冗余的计算。

就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。那BatchNorm的作用是什么呢？BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。接下来一步一步的理解什么是BN。为什么深度神经网络随着网络深度加深，训练起来越困难，收敛越来越慢？这是个在DL领域很接近本质的好问题。

上面这个图可以看出SPPnet和RCNN的区别，首先是输入不需要放缩到指定大小。其次是增加了一个空间金字塔池化层，还有最重要的一点是每幅图片只需要提取一次特征。SPPnet虽然解决了CNN输入任意大小图片的问题，但是还是需要重复为每个region proposal提取特征啊，能不能我们直接根据region proposal定位到他在卷积层特征的位置，然后直接对于这部分特征处理呢？答案是肯定的。

YOLO 是 “You only look once” 缩写 , 是将图像划分为网格系统的对象检测算法，网格中的每个单元负责检测自身内的对象。由于其速度和准确性，YOLO是最著名的目标检测算法之一。yolov5作为YOLO系列第五个迭代版本，它的一个特点就是权重文件非常之小，可以搭载在配置更低的移动设备上，而且容易学习上手。yolov5各个权重文件的测试效果。

yolov5于2020年由glenn-jocher首次提出，直至今日yolov5仍然在不断进行升级迭代。Yolov5有YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四个版本。文件中，这几个模型的结构基本一样，不同的是depth_multiple模型深度和width_multiple模型宽度这两个参数。