[预训练语言模型专题] MT-DNN(KD) : 预训练、多任务、知识蒸馏的结合

yang191919

于 2020-05-15 13:47:54 发布

阅读量1.8k

点赞数

分类专栏：朴素人工智能文章标签：大数据编程语言机器学习人工智能深度学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/yang191919/article/details/106140398

版权

本文探讨了MT-DNN模型，结合预训练语言模型和多任务学习，以提升自然语言理解(NLU)的性能。MT-DNN在GLUE任务上超越了BERT，其结构包括通用层和任务特定层。文章还介绍了通过知识蒸馏（KD）进一步改进的MT-DNN(KD)，在不增加模型负担的情况下提升了泛化能力。实验结果显示，知识蒸馏显著提高了模型在GLUE任务上的效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文为预训练语言模型专题系列第八篇

快速传送门

1-4：[萌芽时代]、[风起云涌]、[文本分类通用技巧] 、 [GPT家族]

5-7：[BERT来临]、

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。