博客探讨了机器学习中信息熵的概念，特别是在AI量化阶段如何使用KL散度衡量信息损失。同时，文章对比了信息熵与热力学第二定律中的熵，解释了麦克斯韦妖理论，并指出在熵减少的情况下，信息熵的增加遵循了整体熵增的原理，保持了热力学第二定律的正确性。
在AI量化阶段应用KL散度来计算量化前后两笔tensor之间的信息损失程度，然后根据信息损失去调整量化参数，通过不断调整，选择使KL散度最小的 ZP和SCALE值作为量化参数，达到使量化信息损失最少的目的，关于这些介绍，可以参考博文：
模型量化中的KL散度扫盲_papaofdoudou的博客-优快云博客_kl三度
使用NCNN的INT8量化方式进行推理_papaofdoudou的博客-优快云博客_ncnn量化
机器学习信息熵和热力学定律中的熵有关系吗？
于 2022-08-17 10:28:00 首次发布
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
