Faster-Rcnn 网络训练医学乳腺DDSM图像不能预测到定位框问题及其训练问题

在faster-rcnn 网络训练中，不同的数据集所带来的问题是不同的，首先明确医学数据集以及常见的RGB数据的区别：

1.医学数据集是超分辨率数据集（DDSM）， 其长宽值较高， 而常用的RGB图像（航空航天图像除外）， 其分辨率一般较低。

2.医学图像含有丰富的HU值范围， 而RGB图像的取值范围是0-255.

3.就特征信息度量而言， 医学图像信息是针对不同的病理是正相关的，也可能是负相关的。GRB图像的信息由于存在3通道，信息量一般来说是比较丰富的。

4.DDSM 乳腺图像数据的特点是（X光片）分辨率高，图像信息缺乏。

如上所示， 图像中存在大量的黑色区域，并不携带丰富的特征信息。

DDSM乳腺医学图像的训练存在很多难点：

1.图像的分辨率高， 对显卡要求比较高，会占用大量的GPU内存， 占有来源一部分为网络的参数， 一部分为临时变量（临时变量在GPU显卡监测的时候并不会提示占有GPU内存， 例如：显示占比30%， 其实已经占满， 剩余的70% 都来自于网络训练的临时变量）。

2.例如VOC2007 数据集中的目标检测其检测框的尺寸[8,16,32]并不适合医学病灶区域的检测。因此需要调节其尺寸适应小目标的检测。

3.针对乳腺数据集病灶区域的特点，乳腺病灶分为mass 以及calcification， 两者都有良恶性区分， 值得注意的是， cancer Calcification 类型的病灶是伴随性病灶区域。因此一般不会认为存在恶性的钙化，钙化点区域存在于恶性mass 周边，因此对目标识别中的数据处理是一个重要的挑战。

4.在训练神经网络的同时，会出现loss 降低很快， 可以设置其学习率（下降）， 本文设置的学习率为0.00001.

5.网络训练之后会出现无法得到病灶的预测框问题。同时其getmap值也存在问题：例如所有指标都为0.这是因为，由于医学图像本身的候选框通过nms 以及confidence 时，其值域无法达到nms值以及confidence值， 导致回传到classifier 中的proposal 候选框的数量极少（可以调试试一试，通过prediction 接口），甚至没有。网络无法更好的学习。后期存在loss 会升高等现象。最终的nms的值为0.1， confidence 值为0.5， 可以很好的得到预测结果。

 

6 在ddsm 数据预处理中，需要将DDSM数据集的标记信息去掉， 同时通过高斯过滤去除物理设备差异性带来的噪声。5中的图像是经过处理的图像。可能会丢掉乳腺边缘的信息，但对于病灶的检测不影响。

7 DDSM划分训练集所有类中训练，测试，验证的比列为8：1：1， 保证训练，测试，验证集中，所有的类别分布不存在差异性。

8 现有的ddsm训练存在一下的情况：

loss 先快速降低，后上升，再趋近于平稳，可能存在的原因为网络陷入局部最优，可以调节学习率的大小，设置批量的大小，或者加长训练的时常，等待网络跳出局部最优。