该博客探讨了深度学习模型中输入归一化的不同处理方式，特别是在第一层和后续层。对于第一层，输入和权重被归一化到(-1,1)，之后进行整数量化。对于其他层，要求前一层通过激活层，输入范围变为(0,1)，再进行量化。文章指出，将乘以256而非255后，模型准确率得到提升。输出层的量化则涉及除以128或256的操作。这些量化策略对于模型效率和精度的平衡至关重要。
对于第一层的输入，将图片归一化到（-1，1），将weight归一化到（-1，1），然后将weight+1乘以缩放因子128，变成整形。输出再除以128。
对于其他层的输入，要求上一层必须经过激活层，输入变成了（0，1），乘以255，变成了（0，255），然后将weight+1乘以缩放因子128，变成整形。最后的输出要除以128，256.
注：输入量化原先是乘以255，改为256后，准确率有所提升。
扫一扫
评论 5
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
