量化感知训练
关注
分享
扫一扫
文章平均质量分 83
机械系的AI小白
国内头部某互联网公司，世界500强企业高级图像算法工程师。专注CV领域算法，包括high-level任务，分割检测;low-level任务，图像超分，图像修复，hdr增强等，最新AIGC技术；以及端侧算法落地，模型压缩、高效模型设计、蒸馏、量化等。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
量化感知训练 —— LSQ（二：代码解析）
至此，我们实现了伪量化算子，伪量化算子中利用伪量化方法进行参数伪量化，之后又定义了伪量化的类来实现伪量化方法。之后需要做的是，就是把原模型中的各个算子，替换成这里定义好的对应的伪量化算子，这样我们就可以实现一个插入LSQ伪量化节点的模型了，然后利用这个模型进行正常的训练，就可以进行LSQ量化感知训练了。在这个伪量化算子中，其中还有伪量化方法需要作为输入传入进行初始化的，而具体的伪量化，以及需要学习的量化参数的更新方法，则通过伪量化方法实现。对于其他的算子，比如nn.Linear，则使用类似的定义实现。原创 2024-03-10 16:05:13 · 1934 阅读 · 6 评论 -
量化感知训练——LSQ(一：原理)
模型量化知识总结原创 2024-03-03 21:01:44 · 4154 阅读 · 0 评论