深监督

Deep learning ：

1.隐藏层的特征透明度不高以及辨别力不高。

2.训练困难，存在梯度消失和爆炸；对算法行为缺乏通透的数学理解。

3.过度依赖大量数据的训练，以及训练过程中需要复杂的调参；

4.不同的初始化对网络的影响微不足道（negligible）

深监督（Deep supervisor ）
在深度神经网络的某些中间隐藏层加了一个辅助的分类器作为一种网络分支来对主干网络进行监督的技巧，用来解决深度神经网络训练梯度消失和收敛速度过慢等问题。还可以起到一定的正则化的作用。

简单说就是针对中间隐藏层特征透明度不高以及深层网络中浅层以及中间网络难以训练的问题，对隐藏层再进行监督（损失函数），这样的话同时用最后的output的监督以及中间的隐藏层的监督（伴随损失函数）对网络进行训练，促进网络更好更快的收敛。

疑问：

怎么定义隐藏层的损失函数，本质就是隐藏层的输出到底是什么？如何定义其输出的label？

我见过用深监督的网络：Unet++ 以及分类网络

具体就是：

1.Unet++

 

 

其中的三角形结构就相当于不同深度的Unet++网络结构，因此其输出L1 L2 L3就是图像的分割，因此该层的深监督就可以用和output一样的label进行损失函数的计算。

分类网络就可以参见提出“深监督”的论文Deep supervised net

其实就是对浅层特征也进行分类。然后计算其损失进行深监督。