[ICLR16] Net2Net: ACCELERATING LEARNING VIA KNOWLEDGE TRANSFER

終于、

于 2020-08-04 10:55:58 发布

阅读量240

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习论文文章标签：深度学习

原文链接：https://blog.youkuaiyun.com/weixin_37993251/article/details/88349603

深度学习论文专栏收录该内容

9 篇文章

订阅专栏

Net2Net操作人员已验证，在特定架构约束下，能迅速将小神经网络的知识迁移到更大网络，提升图像识别性能。此技术有助于快速探索模型族，减少机器学习工作流程时间，期望未来研究能发现更多通用知识转移方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我们的Net2Net操作人员已经证明，在某些架构约束下，可以快速地将知识从一个小的神经网络转移到一个大得多的神经网络。实验表明，利用该方法可以训练更大的神经网络，提高图像网络的识别性能。Net2Net现在也可以作为一种技术来更快地探索模型族，从而减少典型机器学习工作流所需的时间。我们希望未来的研究能够发现在神经网络之间传递知识的新方法。我们尤其希望未来的研究能揭示出更多通用的知识转移方法可以快速初始化一个学生网络，该网络的体系结构不受限于类似于教师网络。
[ICLR16] Net2Net: ACCELERATING LEARNING VIA KNOWLEDGE TRANSFER

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。