5.193D目标检测自适应融合学习笔记

5.19自适应融合笔记

1.发现问题：样本数据集不均匀-行人小样本；Telsa Q

2.感受野：感受野：CNN中某一feature对应(看)着的输入空间中的区域(即：输入图片的像素区域，这些像素参与了该feature的计算)被称为该feature的感受野。神经元感受野的值越大表示其能接触到的原始图像范围就越大，也意味着它可能蕴含更为全局，语义层次更高的特征；相反，值越小则表示其所包含的特征越趋向局部和细节。因此感受野的值可以用来大致判断每一层的抽象层次

卷积神经网络每一层特征图上的像素点对应原始图像上映射区域大小 感受野考量每一个feature map上有多少全局性的指标，感受野计算方式

实际感受野： 实际感受野要小于理论感受野,是在NIPS2016中的Understanding the Effective Receptive Field in Deep Convolutional Neural Networks提出的。有效感受野覆盖全图，最好

文章中也给出了答案，见上图，随着网络层数的加深，实际有效的感受野是程级别增长。而右图展示了随着网络层数的加深，有效感受野占理论感受野的比例是按照级别进行缩减的。其中需要注意的是实际感受野的计算方式：若像素值大于(1-96.45%)的中心像素值，就认为该像素处于实际感受野中。

Resnet 增强特征图表达能力（耦合不同感受野特征尺度），解决梯度回传问题

2.Onestage anchor free

检测网络是一种高效的分类网络，每个分类都可以看作是感受野对应的图像区域，框是附带的，感受野是天然的anchor；既要命中物体又要感受野大

按照结构可以划分为：backbone+neck+head

• backbone:用于检测 VGG,Resnet,ResNeXt EfficientNet 从这些backbone中选特征图作为neck输入，每个特征图都有内在的固有语义表达能力，用这个特征图做后面的预测到底能学什么，学到多好，每个特征图能看到原图像的区域已经确定，超过该区域不合理。其次由于卷积步长不同一定程度上决定了某一特征图能够适应多大尺度的目标。Backbone的核心在于能够为检测提供若干种感受野大小和中心步长的组合，以满足对不同尺度和类别的目标检测
• Neck：neck接受特征图处理后输出给head，典型的Neck：Naive Neck FPN及其变种；Neck第一要务进行特征融合，不同尺寸感受也信息的叠加；决定了head的数量，进而潜在决定了不容尺度的目标被分配到不同Head进行学习；对其来自于backbone上不同宽度的特征图，进行宽度对其用于head
• Head: RetinaNet-Head(ancor-based) FCOS-Head(anchor free)，通常独立分为分类分支（N个类别，N个通道；anchor based A个anchor，每个point为每个anchor都预测一个类别和一个框）和回归分支（预测一个框，4个通道），为了节约参数也可以共享；classification下有质量评估分支通常和分类/回归分支共享参数：用于证明每个point在定位分类时的质量优劣/还有IOU评价方式；结构简单主流使用GN层，多个head共享一套权重（neck输出多个特征图在head上用一套权重）。
• 为什么要共享head：（1）如果不共享，则每一个特征图对应的head都需要不同尺度目标物进行训练，参数共享了，无论是哪个样本上的head都可以得到学习；（2）可行性：神经网络具有多尺度语义不变性，卷积操作具有平移不变形，head操作抽象成一个卷积核，它在不同级别语义上相同运算，即对不同尺度但是语义一致的目标物产生相似的响应；（3）更简洁参数量 注：BN不可以用于head，因为head参数是多个特征图共享得到，它的均值和方差没有意义是一个四不像，且训练阶段batch size太小
• FCN-style:neck仅有一层卷积操作，用于讲backbone上的输入特征图宽度对齐；backbone上被选用的特征图之间不进行任何的融合操作；代表model：SSD，YOLO v1v2；学界基本被抛弃；快但差
• FPN-Style:包括一个侧向连接将backbone上的输入特征图宽度对齐；使用上采样将高层特征图与低层特征图进行element-wise add的方式进行融合最后所有融合后的特征图在进行一次卷积操作；其变种在于定义了差异化的特征图融合方式；代表有RetinaNet，FCOS；better；慢但好；高层较大感受野信息引入底层；方型-FCN，条型-FPN

3.目标尺度与分别率

• 图像分辨率指图像中存储的信息量，是每英寸图像内有多少个像素点，分辨率的单位为PPI(Pixels Per Inch)，通常叫做像素每英寸。图像分辨率一般被用于ps中，用来改变图像的清晰度。
• 检测器可检测的目标物体与分别率无关；很小和很大的物体不建议同时检测；先确定检测目标范围，再按目标准备数据集，一般很大和很小的目标物同时检测

4.补：还是要补充经典的几个目标检测算法,anchor-based,anchor-free（必看）