
模型压缩
文章平均质量分 69
模型剪枝、知识蒸馏、量化学习
Mr.RottenPeach
所谓无底深渊,下去,也是前程万里、
展开
-
merge卷积和bn层的原理
《merge卷积和bn层的原理》 这是一个在移动端非常实用的技巧,而且丝毫不会影响模型的精度,而提高模型的运算速度,就是把BN层离线的时候做好,放在权重值和偏执项中就可以了。 Key Words:merge卷积层和BN层 Beijing, 2020 作者:RaySue Agile Pioneer 为了让部署的caffe模型获得更高的推理效率,一个技巧就是合并卷积层和BN层,通过离线的对网络的权重值进行计算,来一定程度的减少计算量。 BN层的融合即为将caffe中BN层与.原创 2020-12-10 21:36:31 · 5678 阅读 · 0 评论 -
简记ShuffleNetV1&V2
《简记ShuffleNetV1&V2》 组卷积和深度可分离卷积其实是一个思想,都可以减少模型的参数量,那么如何合理的利用这个思想来设计模型,既要使用又不能无所顾忌的使用。ShuffleNetv1和v2从两个角度给出了很好的阐述。ShuffleNetv2提出了提高网络速度设计的4个准则,并基于此设计了网络,这些结论是很值得学习和深思的。 Key Words:GConv、DWConv、 Beijing, 2020 ShuffleNet作者:Face++ Agile Pioneer.原创 2020-12-09 19:34:57 · 5531 阅读 · 0 评论 -
卷积神经网络的参数量和计算量
《卷积神经网络的参数量和计算量》 写点重要的东西 Key Words:Parameters count、FLOPS、FLOPs Beijing, 2020 作者:RaySue Agile Pioneer 文章目录模型的参数量全连接参数量池化层Vanilla Conv ParametersGroup ConvolutionDepthwise Separable Convolution模型的计算量卷积运算量(FLOPs)Vanilla Conv全连接层池化层最大池化平均池化激活层R.原创 2020-11-26 18:37:34 · 6160 阅读 · 5 评论 -
理解知识蒸馏
《理解知识蒸馏》 本文是对知识蒸馏方法在分类场景的应用来讨论的。知识蒸馏是一种从复杂模型向简单模型迁移知识的方法,我觉得和Label smooth有相似的地方,就是soft-labels,soft-labels有正则的功能,而且具有容错性。但是显然知识蒸馏得到的soft-labels会包含更多的所谓dark knowledge,能够让模型get到更多的信息。 Key Words:Label smooth、dark knowledge、knowledge distillation Beijin.原创 2020-07-16 14:17:51 · 4452 阅读 · 2 评论