MixNet(含pytorch代码解析及相关轻量级模型对比)

最近相关项目实践了MixNet网络，最终取得的效果不错，但是收敛的过程相对有些缓慢，具体原因还在分析当中，现将相关知识及代码解析如下。

如下主要包括3个部分，1是MixNet的原理知识解析(整理自网络)，2是自己对于相应核心代码解析，3相关轻量级模型比较。

1. MixNet

参考：https://www.cnblogs.com/dengshunge/p/11442805.html

其主要创新点是，研究不同卷积核尺寸的影响和观察到组合不同尺寸的卷积核能提高准确率。作者将混合了不同尺寸的卷积核的卷积操作命名为MDConv，并将其使用在深度可分离卷积中，能提高的MobileNet的准确率。

如上从左到右的点分别表示卷积核的尺寸由33增大到1313.

基于可分离卷积，又引入了分组卷积，对于不同组的通道分别执行不同卷积核尺寸的可分离卷积。

与inception的异同：都引入了不同的卷积核尺寸，但是其是基于可分离卷积的操作；
与xception的异同：都基于可分离卷积，但是其引入了不同的卷积核尺寸进行分组