图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖

面向图数据的蒸馏目前仍为一个较新的方向，我们的研究着眼于图结构保持对图数据蒸馏的重要性，期望此工作能够引起领域对该方向更多的研究和探讨。

本质就是关系知识蒸馏引入。

经典KD蒸馏代码整理汇总

ICLR 2023 | 模态聚焦假说:对跨模态知识蒸馏的理解

ACL 2023 | 为学生模型的学习水平量身定制指导，促进知识蒸馏的效果

CVPR 2023 | DisWOT：给老师找个好学生？KD和NAS的高效组合

HomoDistil：蒸馏和剪枝在知识传递上的有机结合

如何设置温度系数？用于推荐的自适应调节表征模长的方法

基于数据增广和知识蒸馏的单一样本训练算法

实现半监督学习中伪标签的质量和数量的trade-off

​NeurIPS 2022 | 知识蒸馏造成了样本不均衡问题？

NeurIPS 2022 通过统计学视角度量知识蒸馏中不同数据增强方法的优劣

如何识别未知标签？多模态知识迁移框架实现新SOTA

动态温度超参蒸馏新方法

还能将知识蒸馏理解为正则化？Tf-KD：从标签平滑正则化的角度重新审视知识蒸馏

深度学习高温蒸馏：Softmax With Temperature

Fast and Effective！一文速览轻量化Transformer各领域研究进展

相关KD论文最新进展之粗读汇总

首个GCN上的KD工作

知识的拆分与解耦

本文提出了基于强化学习的自由方向知识蒸馏FreeKD，不需要更深层次的、经过优化的教师GNN来进行单向知识转移，而是协作学习两个较浅的GNN，以通过分层方式的强化学习从彼此中提取知识，从节点级和结构级两个方面动态管理知识转移的方向

知识蒸馏为什么有效？因为有老师给你划“重点”

自蒸馏：一种简单高效的优化方式

深度学习中知识蒸馏研究综述（感觉是1篇TPAMI的翻译

将GNN蒸馏给MLP：实现准确且快速的图机器学习模型部署，有助于消除推理图的依赖性，从而使 GLNN 比 GNN 快 146×-273x 倍且性能不会降低。

图数据增强G-Mixup，使用了图生成器去融合图数据，实现了class-level的图数据mixup

为了将深度GNN应用于移动或嵌入式系统上，提出新型知识蒸馏压缩技术压缩GNN

在GNN和MLP之间架起一座桥梁，既能享受MLP的低延迟和无图依赖性，又能达到和GNN表现得一样好？即，这篇文章想要构建一个模型，这个模型既有MLP的低延迟和无图依赖性的优点，又可以达到和GNN相同的表现/预测准确率，从而解决GNN延迟性高的问题。...

目录简介单标签到多标签众里寻她千百度组合softmax自动确定阈值暮然回首阑珊处统一的loss形式用于多标签分类所以，结论就是参考简介一般来说，在处理常规的多分类问题时，我们会在模型的最后用一个全连接层输出每个类的分数，然后用softmax激活并用交叉熵作为损失函数。在这篇文章里，我们尝试将“softmax+交叉熵”方案推广到多标签分类场景，希望能得到用于多标签分类任务的、不需要特别调整类权重和阈值的loss。类别不平衡单标签到

目录简介巧妙联系形式猜测证明结果实现技巧文章小结参考简介在《将“softmax+交叉熵”推广到多标签分类问题》中，我们提出了一个用于多标签分类的损失函数：这个损失函数有着单标签分类中“Softmax+交叉熵”的优点，即便在正负类不平衡的依然能够有效工作。但从这个损失函数的形式我们可以看到，它只适用于“硬标签”，这就意味着label smoothing、mixup等技巧就没法用了。本文则尝试解决这个问题，提出上述损失函数的一个软标签版本。巧妙联系多标签

目录1 研究摘要2 研究动机2.1 符号定义2.2 重新推导 KD Loss3 启发式探索3.1 单独使用 TCKD/NCKD 训练3.2 TCKD：传递样本难度相关的知识3.3 NCKD：被抑制的重要成分3.4 启发4 Decoupled Knowledge Distillation5 实验结果5.1 Decoupling 带来的好处5.2 图像分类5.3 目标检测6 扩展性实验和可视化6.1 训练效率6.2 提升大 Teacher...

目录简介DLB 自蒸馏框架1. 本文的任务2. 本文创新与贡献DLB 自蒸馏框架训练机制实验设置结语简介OPPO 研究院联合上海交通大学提出的新的自蒸馏框架DLB，无需额外的网络架构修改，对标签噪声具有鲁棒性，并可大幅节约训练的空间复杂度，在三个基准数据集的实验中达到了 SOTA 性能。深度学习促进人工智能（AI）领域不断发展，实现了许多技术突破。与此同时，如何在有限硬件资源下挖掘模型潜能、提升部署模型的准确率成为了学界和业界的研究热点。其中，知识蒸馏..

论文：https://arxiv.org/pdf/1512.00567.pdf(一)、为什么有标签平滑正则化（Label Smoothing Regularization, LSR）的方法?在深度学习样本训练的过程中，我们采用one-hot标签去进行计算交叉熵损失时，只考虑到训练样本中正确的标签位置（one-hot标签为1的位置）的损失，而忽略了错误标签位置（one-hot标签为0的位置）的损失。这样一来，模型可以在训练集上拟合的很好，但由于其他错误标签位置的损失没有计算，导致预测的时候，预测错误的概

目录简介摘要引言固有噪声的可靠性固有噪声结构噪音属性噪声标签噪声增强技术数据去躁DGL与正则化分布偏移的可靠性图上的分布偏移图的域泛化图上的子种群偏移增强技术不变图表示学习图健壮训练不确定性的量化对抗攻击的可靠性威胁概述操纵式攻击注入式攻击后门式攻击增强技术图处理模型鲁棒化鲁棒训练讨论区别于一般可靠的机器学习统一定义以上威胁的区别结论和未来方向理论框架统一解决.

目录GNN 压缩的学习范式知识蒸馏可以提升性能低精度的 GNN 的量化小结GNN 压缩的学习范式除了数据准备技术和有效的模型架构之外，学习模式，即模型的训练方式，也可以显著提高 GNN 的性能，并且降低延迟。知识蒸馏可以提升性能知识蒸馏（KD）是一种通用的神经网络学习范式，它将知识从高性能但资源密集型的教师模型转移到资源高效的学生身上。KD 的概念最初是由 Hinton 等人提出的，KD 训练学生以匹配教师模型的输出 logits 以及标准的监督学习损失。杨等人.

简介目录： 蒸馏是什么？怎么蒸BERT？ BERT蒸馏有什么技巧？如何调参？ 蒸馏代码怎么写？有现成的吗？ 今天rumor就结合Distilled BiLSTM/BERT-PKD/DistillBERT/TinyBERT/MobileBERT/MiniLM六大经典模型，带大家把BERT蒸馏整到明明白白！模型蒸馏原理Hinton在NIPS2014[1]提出了知识蒸馏（Knowledge Distillation）的概念，旨在把一个大模型或者多个模型ensemble

目录简介Introduction本文主要的方法TEACHER MODELSTUDENT MLP MODEL从标签平滑的角度解释模型实验结论参考简介「题目」：COLD BREW: DISTILLING GRAPH NODE REPRESENTATIONS WITH INCOMPLETE OR MISSING NEIGHBORHOODS「作者」：Wenqing Zheng, Edward W Huang, Nikhil Rao, Sumeet Katar

KL 散度#tf https://www.tensorflow.org/api_docs/python/tf/keras/metrics/kl_divergenceimport numpy as npimport pandas as pdimport tensorflow as tfy_true = np.random.randint(0, 2, size=(2, 3)).astype(np.float64)y_pred = np.random.random(size=(2, 3))

2022 NIPS Zero-shot Transfer Learning within a Heterogeneous Graph via Knowledge Transfer Networks

目录1、动机具体阐述相关工作2、方法具体阐述符号定义组成部分1-语义上下文子图采样组成部分2-异构知识建模组成部分3-协作知识蒸馏3、创新4、结果1、动机近年来，异构信息网络的低维表示学习因其在实际应用中的有效性而受到越来越多的关注。与同构信息网络相比，HINs具有连接不同类型语义节点的元路径特征。现有方法主要是在独立学习元路径嵌入的基础上，将其整合成统一的嵌入。然而，HIN中的元路径具有内在的相关性，因为它们反映了同一物体的不同视角。如果将每条元