《Distilling the Knowledge in a Neural Network》知识蒸馏

本文介绍了由Hinton等提出的知识蒸馏技术,旨在将复杂模型的知识转移到更简单的模型中。文章通过具体步骤解释了如何利用软目标进行模型训练,并探讨了其在实际应用中的效果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前言

这周做了一篇论文汇报,选的就是这篇论文,看了论文原文和很多博客简单总结如下

这几篇博客对我的帮助很大:
博客1
博客2
看了以上两篇基本就可以理解Hinton的神来之笔
由于是学校的论文汇报,所以我将从作者开始介绍(需要PPT的可以留言):

首先是对作者的介绍

第一位Hinton已经不能再出名了,深度学习的绝对大佬,图灵奖得主……
第二位是个超级学霸,年轻的时候还是星际争霸欧洲区数一数二的任务,是一个被人工智能耽误的电竞选手(开玩笑的)
第三位是Google AI的负责人,Tensorflow就是在他的领导下开发的,谷歌的第20号员工
具体的信息大家可以自行百度
在这里插入图片描述在这里插入图片描述在这里插入图片描述

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值