知识蒸馏
关注
分享
扫一扫
文章平均质量分 56
pythonSuperman
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Resnet详解
下采样：图像高宽变小上采样：图像高宽变大当步距为1的时候，卷积的处理是不会改变特诊矩阵的高和宽的。原创 2024-04-02 15:22:04 · 296 阅读 · 0 评论 -
知识蒸馏 基础知识
模型小型化的工作，把肥肉去掉只保留肌肉。原创 2024-02-28 20:34:13 · 740 阅读 · 0 评论 -
图解知识蒸馏
soft labels与soft predictions越接近越好，通过Loss Fn来实现，产生的数值叫做distillation loss，也叫soft loss。hard label y与hard prediction越接近越好，通过Loss Fn来实现，产生的数值叫做student loss，也叫hard loss。目的是微调学生网络中的权重，使得最终损失函数最小化。原创 2024-02-29 21:50:38 · 538 阅读 · 0 评论