- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 知识蒸馏问题总结
一、模型蒸馏原理一般较深的复杂的模型往往会有较好的结果（例如Bert预训练模型），但是有时候为了控制时间及硬件成本，我们不得不选择较小的模型，那如何让小的模型逼近复杂的模型，则是通过模型蒸馏的方式实现。通俗的讲，就是学生模型产生一个output1和loss1，teacher模型产生一个output2，取output1和output2的KL散度loss2（度量两个output的差）做为loss项之一。 Loss=loss1+loss2二、代码实现参考了下https:/...
2021-08-12 15:30:17
2229
3
转载 【NLP学习笔记1】BN、LN和WN区别与实现
一、BN（Batch Nomalization，批标准化）1、为什么要做BN个人觉得这篇文章讲的很好https://zhuanlan.zhihu.com/p/24810318一般来说，如果模型的输入特征不相关且满足标准正态分布时，模型的表现一般较好。但是当每层数据在经过激活函数后，数据值容易趋向于激活函数的饱和值，那么当经过多层的激活函数后，数据将趋于极点，从而丧失了数据原本的分布信息，这时候模型的表现将下降。为了充分利用数据以及激活函数的的分布信息，我们在每一层后面都会做一个BN，
2021-08-04 17:10:12
1303
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人