笔记随笔(ing)：计算机视觉部分

1、ResNet和DenseNet的区别和联系

第一个公式是ResNet的。这里的l表示层，xl表示l层的输出，Hl表示一个非线性变换。所以对于ResNet而言，l层的输出是l-1层的输出加上对l-1层输出的非线性变换。

 解决梯度爆炸和网络退化问题。

第二个公式是DenseNet的。[x0,x1,…,xl-1]表示将0到l-1层的输出feature map做concatenation。concatenation是做通道的合并，就像Inception那样。而前面resnet是做值的相加，通道数是不变的。Hl包括BN，ReLU和3*3的卷积。l层的输出是0到l-1层层的输出的concatenation。

 DenseNet优势：
（1）解决了深层网络的梯度消失问题
（2）加强了特征的传播
（3）鼓励特征重用

（4）减少了模型参数

densenet比resnet参数少的原因在于每一次卷积输入输出的chanenl个数要比resnet少很多，这样bn层的参数也会少很多，channel数对此的影响很大，全连接层的参数也比resnet少很多；

densenet比resnet慢的原因在于，densenet的featuremap比resnet大很多，导致卷积过程的计算量比resnet大很多，简而言之就是flops要大一些，内存的占用要大一些，而且内存的访问次数要多很多，内存的访问是很慢的，而不是全连接层的原因，因为densenet的全连接参数比resnet要少很多。
（内存占用链接：https://blog.youkuaiyun.com/u011311291/article/details/82969409）

2、为什么UNet在医学图像分割上面效果比较好？