深度学习进阶理论

1、深度可分离卷积
正常卷积：它的卷积核是针对图片的所有通道设计的（通道的总数就是depth）。那么，每要求增加检测图片的一个属性，卷积核就要增加一个。所以正常卷积，卷积参数的总数=属性的总数x卷积核的大小。
深度可分离卷积：针对每个通道分别卷积输出三个属性，再通过1x1xdepth的卷积核合并。
比较：仅仅是提取一个属性，深度可分离卷积的方法，不如正常卷积。随着要提取的属性越来越多，深度可分离卷积就能够节省更多的参数。
参考：链接: link.
2、各种训练过程中loss不下降解决办法：
链接: link.