【图神经网络的预训练】

已于 2022-04-11 17:50:27 修改
阅读量641 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 图机器学习 文章标签： 图机器学习
于 2022-04-11 17:46:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zfhsfdhdfajhsr/article/details/124105044
图神经网络实战（1）——图神经网络(Graph Neural Networks, GNN)基础
盼小辉丶的博客
01-02 12万+
本节全面介绍了图神经网络 (Graph Neural Network, GNN) ，包括其在数据分析和机器学习中的重要性。首先探讨了图作为数据表示的相关概念及其在各个领域的广泛应用；然后深入探讨图学习的重要性，包括不同的应用和技术。最后，重点介绍了 GNN 架构，并对比了它与其他方法之间的原理和性能差异。
图神经网络实战（19）——异构图神经网络
盼小辉丶的博客
08-26 5577
异构图由不同类型的节点和边组成，可以表示实体之间的各种关系，这比单一类型的连接具有更高的表达能力。在本节中，我们将回顾关于同构图神经网络 (Graph Neural Networks, GNN) 与消息传递神经网络框架的相关概念，以扩展 GNN 架构适用于异构图。首先，我们将创建自定义异构数据集。然后，将同构架构转化为异构架构。
ICML2020 图神经网络的预训练
weixin_45519842的博客
04-04 498
在过去一两年,各种各样的NLP预训练模型疯狂涌现,如Bert和XLNet. 受益于好的预训练策略,我们只要在各个NLP进行简单的微调就可以取得非常好的效果.那么,有没有合...
ICLR’20 | 预训练图神经网络
paper_reader的博客
10-28 1008
阅读更多，欢迎关注公众号：论文收割机（paper_reader） 因为排版问题，很多图片和公式无法直接显示，欢迎关注我们的公众号点击目录来阅读原文。 Strategies for Pre-training Graph Neural Networks, ICLR 2020 引言 预训练是指通过在一个数据充足的任务上去训练模型，然后再用目标任务的数据集去继续调优（fine-tune）这个模型。预训练模型最近在很多任务上取得了重大的进展，包括计算机视觉和自然语言处理。本文主要将介绍今年关于在..
GCC图神经网络预训练概述
徐奕的专栏
10-09 1038
Paper GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training 关键词: 对比学习，实例辨析，可转移性，预训练 图神经网络预训练的图对比编码 最近工作 然而，到目前为止，大多数关于图的表示学习工作都集中在学习单个图或一组固定图的表示，非常有限的工作可以转移到域外的数据和任务。 挑战 如何设计预训练任务，使网络内和网络间的通用结构模式被捕获并进一步转移? 主要思想 预训练的想法是使用预训练的模型作为一个良好的初始化，对未见数据
图神经网络上的预训练模型，思考与总结
weixin_40920183的博客
03-30 1267
点击上方 蓝字关注我们本文转自人工智能前沿讲习@微信公众号作者：知乎—荷戟彷徨地址：https://www.zhihu.com/people/li-xun-huan-47-95目前，tra...
论文浅尝 | ICLR 2020 - 图神经网络的预训练策略
开放知识图谱
04-12 978
论文笔记整理：杨帆，浙江大学计算机学院。 动机现有的用于图结构的预训练方法要么只关注node-level，导致在图表示空间没有区分度，要么只关注grap...
预训练图神经网络：以数据为中心的一些思考.pdf
08-22
预训练图神经网络：以数据为中心的一些思考 本文讨论了预训练图神经网络的重要性和挑战性，特别是从数据中心的角度来思考图神经网络的预训练。作者指出，预训练图神经网络显示出很大的潜力，学习从图形数据中没有...
GCC：使用图对比编码的图神经网络预训练模型 KDD2020
u013602059的专栏
07-30 2000
论文链接：https://arxiv.org/abs/2006.09963 论文来源：KDD 2020 摘要 图表示学习已经成为解决现实问题的一种强大的技术。节点分类、相似度搜索、图分类和链接预测等各种下游图学习任务都受益于它的最新发展。然而，现有的图表示学习技术侧重于特定领域的问题，并为每个图训练专用的模型，这些模型通常不能转移到域外数据。受最近自然语言处理和计算机视觉的预训练进展的启发，我们设计了图对比编码(GCC)——一个无监督图表示学习框架——来捕获跨多个网络的通用网络拓扑属性。我们将GCC的预训.
​WWW 2023 | GraphPrompt: 图神经网络上统一预训练任务与下游任务
Paper weekly
03-06 3076
©PaperWeekly 原创 ·作者 |于星橦单位 |中国科学技术大学博士生研究方向 |图神经网络论文题目：GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks论文链接：https://arxiv.org/pdf/2302.08043.pdf代码链接：https://github...
Python-用pytorch预训练的神经网络
08-11
用pytorch预训练的神经网络：NASNet，ResNeXt，ResNet，InceptionV4，InceptionResnetV2，Xception，DPN等。
图神经网络GNN研究进展：表达性、预训练、OGB（附71页ppt）
04-24
图神经网络依然是研究焦点之一。最近在WWW2020的DL4G@WWW2020论坛，斯坦福大学Jure Leskovec副教授介绍了图神经网络研究最新进展，包括GNN表现力、预训练和公开图神经网络基准等。值得关注。
图神经网络预训练 (5) - 总结
wufeil7的博客
05-28 763
到目前为止，Conetext prediction 和 Attribute Prediction 两种节点和边层面的预训练方法，及其之后的图层面的分子性质监督学习预测，都已经介绍完毕。 基本上，Strategies for Pre-training Graph Neural Networks 简介已经结束，并且提供了可以直接运行的代码及其环境。代码见之前文章的链接。 现在来总结一下，其中包含的有用的内容： 1. 分子由SMILES生成pyg图； 2. 分子pyg图组成批次的datal...
图神经网络预训练(1) - Strategies for Pre-training Graph Neural Networks 简介
wufeil7的博客
05-22 1528
我们这次要复制的对象是一篇非常经典的关于图神经网络预训练策略的文章，是斯坦福大学Weihua Hu 课题组的工作，发表于2019年。 参考文献 Weihua Hu*, Bowen Liu*, Joseph Gomes, Marinka Zitnik, Percy Liang, Vijay Pande, Jure Leskovec. Strategies for Pre-training Graph Neural Networks. ICLR 2020 他们开发了一种自监督的预训练方法，单个节点以及
神经网络的预训练
ncst
08-17 8255
视觉问题引入深度神经网络后，针对端对端的训练和预测网络，可以看是特征的表达和任务的决策问题（分类，回归等）。当我们自己的训练数据量过小时，往往借助牛人已经预训练好的网络进行特征的提取，然后在后面加上自己特定任务的网络进行调优。目前，ILSVRC比赛（针对1000类的分类问题）所使用数据的训练集126万张图像，验证集5万张，测试集10万张（标注未公布），大家一般使用这个比赛的前几名的网络来搭建自己特
神经网络---预训练
qq_42178122的博客
07-04 3292
简单来说，预训练模型(pre-trained model)是前人为了解决类似问题所创造出来的模型。你在解决问题的时候，不用从零开始训练一个新模型，可以从在类似问题中训练过的模型入手。比如说，如果你想做一辆自动驾驶汽车，可以花数年时间从零开始构建一个性能优良的图像识别算法，也可以从Google在ImageNet数据集上训练得到的inception model(一个预训练模型)起步，来识别图像。一个预训练模型可能对于你的应用中并不是100%的准确对口，但是它可以为你节省大量功夫。 通过使用之前在大数据集上经过训
神经网络模型预训练
softshow1026的博客
12-03 285
根据神经网络各个层的计算逻辑用程序实现相关的计算，主要是：前向传播计算、反向传播计算、损失计算、精确度计算等，并提供保存超参数到文件中。
Strategies for Pre-training Graph Neural Networks（图预训练）
nakaizura
05-31 4935
STRATEGIES FOR PRE-TRAINING GRAPH NEURAL NETWORKS ICLR2020，Stanford出品。用于GNN的预训练策略。 paper：https://openreview.net/forum?id=HJlWWJSFDH&noteId=HJlWWJSFDH code：https://github.com/snap-stanford/pretrain-gnns/ 预训练从CV领域开始取得了很好的效果，到BERT在NLP大杀四方，终于Graph也开始Pretr.
神经网络算法 - 一文搞懂模型预训练Pre-training
2401_85373396的博客
09-05 1300
本文将从三个方面，带您一文搞懂模型预训练 Pre-training。用于训练模型，即调整模型的参数以最小化预测错误。用于在训练过程中调整超参数（如学习率、网络结构等），以及进行模型选择（如选择哪一轮迭代的模型作为最终模型）。用于在模型训练完成后评估其性能，提供对模型泛化能力的无偏估计。训练集 (Training Set)**：**学生在课堂上学习的知识。验证集 (Validation Set)：课后的练习题帮助学生巩固和纠正学到的知识。测试集 (Test Set)：期末考试检验学生的学习效果。
图神经网络预训练权重
最新发布
01-17
### 获取图神经网络预训练模型权重的方法 对于获取图神经网络（Graph Neural Network, GNN）的预训练模型权重，通常有几种途径可以实现这一目标。一种常见的方式是从公开的资源库下载这些预训练好的模型及其对应的权重文件。 许多研究团队和开发者社区提供了多种GNN框架的支持，其中包括DGL（Deep Graph Library）、PyTorch Geometric等流行工具包。通过这些平台发布的教程文档以及官方GitHub页面上的说明，能够找到如何加载特定于不同任务场景下的预训练模型实例[^1]。 以DGL为例，在其官网上可以直接访问到多个已经过训练并优化过的GNN模型链接地址；而对于PyTorch Geometric而言，则可以通过`torch_geometric.datasets`模块中的某些类来轻松获得一些经典数据集上训练完成后的模型参数集合。值得注意的是，当涉及到具体应用领域时——比如化学分子性质预测、社交关系分析或是推荐系统构建等方面——往往也能发现专门针对该领域的高质量开源项目提供相应的预训练版本供使用者快速上手尝试[^4]。 另外，像Hugging Face这样的大型模型托管站点也逐渐增加了对非自然语言处理(NLP)类型模型的支持范围，这意味着现在也可以在这里寻觅到部分优质的GNN结构连同它们经过良好调校之后得到的最佳实践成果。不过需要注意的是，在实际操作过程中应当仔细阅读相关项目的README文件或API指南，确保所选模型确实适用于自己的目标任务，并了解有关环境配置的要求事项[^3]。 ```python import torch from dgl.data import CoraGraphDataset from dgl.nn.pytorch.conv import GraphConv import torch.nn.functional as F dataset = CoraGraphDataset() g = dataset[0] # 加载预训练模型权重的一个简单例子（假设存在名为'pretrained_gcn.pth'的本地文件） model = Model() # 定义具体的GNN模型架构 model.load_state_dict(torch.load('path_to_pretrained_weights/pretrained_gcn.pth')) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值