GNN 2021(十三) An Effective Knowledge Distillation Framework，WWW

最新推荐文章于 2024-07-15 17:03:27 发布

原创最新推荐文章于 2024-07-15 17:03:27 发布 · 481 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#图神经网络 #标签传播算法

图神经网络2021 专栏收录该内容

20 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文提出了一种知识蒸馏框架，将任意GNN模型（教师模型）的知识注入到学生模型中，学生模型结合标签传播和特征转换，保留结构和特征先验知识。学生模型在保持高效预测的同时，具有更高的可解释性。实验表明，学生模型在不同层数和标记节点数量下，均优于教师模型。

在这里插入图片描述
又是北邮石川老师团队的论文（实名羡慕了，这次WWW中了5篇论文）
本文提出了一个知识蒸馏的策略，旨在充分利用数据中有价值的先验知识。所提出的框架提取任意学习的GNN模型(教师模型)的知识，并将其注入到设计良好的学生模型中，学生模型采用标签传播和特征转换两种简单的预测机制，分别自然地保留了基于结构的先验知识和基于特征的先验知识。具体来说，我们将学生模型设计为参数化标签传播和特征转换模块的可训练组合。因此，被学生模型既可以受益于先验知识，也可以受益于GNN教师的知识，从而获得更有效的预测。此外，学习的学生模型比gnn具有更易于解释的预测过程。

Knowledge Distillation

知识蒸馏的目的是将一个高精度且笨重的teacher转换为一个更加紧凑的student。具体思路是：提高teacher模型softmax层的temperature参数获得一个合适的soft target集合，然后对要训练的student模型，使用同样的temperature参数值匹配teacher模型的soft target集合，作为student模型总目标函数的一部分，以诱导student模型的训练，实现知识的迁移。【参考】从本质上来说，知识蒸馏或许也可以视为迁移学习的一部分，并且更适用于移动端这种更轻量级