
模型压缩
yuyijie_1995
半路出家菜鸡程序员一枚
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
量化入门
变成128个负数,一个0,127个正数(用补码的规则)非结构化的剪枝(比如只是把某些值置为0),在gpu上并不会有性能的提升数值的选择性减少了,网络的表达能力可能会有比较大的下降量化精度和范围之间的权衡均匀or非均匀量化反转的问题:梯度不匹配比如求出来的h已经不能用4bit表示得到输出值后要重新用P来重新量化一遍而P和Q都是阶梯函数,在大量位置的梯度都是0,所以对P,Q求梯...原创 2020-03-20 14:54:19 · 1601 阅读 · 0 评论 -
模型压缩加速入门
1.知识蒸馏小模型的损失中就会加上KL损失紧致的网络设计squeeze先11降维Xception结构可以用更少的block的实现一样的效果,每个block的参数量可能变多了,所以需要对通道数做了升维大量参数都集中在11的卷积上shufflenet如何把11卷积的参数和计算量省去低秩分解剪枝模型量化二值神经网络...原创 2020-03-20 13:42:47 · 272 阅读 · 0 评论