Q1:训练数据分布不均衡解决方法
1 对多数类欠采样,少数类过采样,合成新的少数类
2 按照权重合成新的训练数据,weighted loss是指因为模型训练用的图像来自2张原输入图像通过不同权重合并得到的,因此在计算损失函数时,属于不同输入图像的目标的权重也是不一样的,需要和输入图像在合并时的权重对应。
Q2:yolo3相关
本质是建立一种映射关系
先验知识是GT框,训练时,需要将生成的anchor框和预测的anchor框建立一种映射关系。
https://blog.youkuaiyun.com/weixin_43903564/article/details/107237572
输入是一张任意size的图像,但是训练数据图像size一般大小都一样,为了批训练。然后resize为416*416大小,经过特征网络,有三个输出特征层。输出即13*13,26*26,52*52的特征图,这些神经元的感受野在原图上对应的区域,可以将原图切分为13*13,26*26,52*52大小的单元格,在原图上,GT框的中心点落在哪个格子中,哪个格子就负责预测这个目标。每个格子有3*个预测,因此全图有13*13*3+26*26*3+52*52*3个anchor框。
训练时,GT框是答案,anchor是给定的已知条件,建立anchor和GT框之间的映射关系。通过IOU判断,我们能找到唯一的那个anchor框,负责预测目标,然后用损失函数逼近anchor的偏移量和宽高的缩放量
输出是85*13*13 85个通道,每个通道的特征图都是13*13,每个特征图上的神经元负责其中一个值(相对于85来说)的预测。
推理时,我们已经建立了映射关系,加载anchor和映射关系,在最后一层的输出特征图上就有输出值,这些值就可以计算坐标值或者给出类别置信度值。
Q3:FasterRCNN相关
暴力枚举anchor:根据特征图的大小,在原图上生成anchor框(基础特征层有池化层,最后的特征图上一个神经元对应一块感受野,如果原图是特征图大小的16倍,那么16*16的区域中就有9个anchor)
RPN网络负责生成ROI 将不感兴趣的框筛选掉
具体来说,GT框和anchor框进行IOU判断,留下高于阈值的
https://www.zhihu.com/question/42205480
https://zhuanlan.zhihu.com/p/137735486
https://blog.youkuaiyun.com/lanran2/article/details/54376126
跟踪解析