【GCN】 代码详解 (1) 如何运行【pytorch】可运行版本

已于 2024-11-20 14:19:57 修改
阅读量1.7k 收藏 19
点赞数 26
分类专栏： 图神经网络理论实战解析 文章标签： pytorch 人工智能 python 分类 深度学习
于 2024-11-05 15:32:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_47332746/article/details/143506150
版权

请添加图片描述

Graph Convolutional Networks 代码详解

前言

在前文中，已经对图卷积神经网络（Graph Convolutional Neural Networks, GCN）的理论基础进行了深入探讨。接下来的章节将会进入新的阶段，将借助PyTorch，这一强大的深度学习框架，通过实战讲解来展示如何构建和训练一个图卷积神经网络。这一过程不仅将帮助读者巩固理论知识，更重要的是，它将引导读者迈出理论到实践的关键一步，从而在处理具有图结构数据的问题上实现质的飞跃。

在本章节中，我将主要介绍如何运行代码以获取计算结果。考虑到我的读者多为初学者，我认为在深入探讨代码的各种细节之前，首先了解如何简单地运行模型并查看其结果是非常必要的。这不仅可以帮助读者快速入门，还能对模型的工作流程有一个直观的理解。

这个原文的代码地址感兴趣的读者自行下载即可 https://github.com/tkipf/pygcn

在这里插入图片描述

😃当然要是觉得还不错的话，烦请点赞，收藏➕关注👍

0.引言

这个代码是作者提供的在 PyTorch 环境下实现和运行图卷积网络代码。具体参见 Thomas Kipf 的博客 Graph Convolutional Networks (2016)。

重点重点重点
此外，这份 PyTorch 实现与原始的 TensorFlow 版本（见此链接）存在一些细微差异。当前的 PyTorch 版本主要是为了概念验证，而不意在复现原论文中报告的结果。所以其复现出来的结果和原始论文中存在一定差距，在对当前代码讲解后，笔者会对差异部分进行分析，并教大家如何复现乱嗯中的实验结果

该实现使用的是 Cora 数据集，其主要是分成了两个文件，这里不做过多的解释在下一个章节详细分析代码部分会解释。

1.环境配置

如果你之前已经配置好环境这部分可以忽略掉

对于准备在特定环境下运行图卷积网络（GCNs）的开发者来说，理解并配置适合的系统要求是至关重要的一步。以下是详细的系统和软件环境要求，以确保GCNs可以正确安装和运行。

必需的软件和库:

  • PyTorch: 必须安装版本 0.4 或 0.5。PyTorch 是执行深度学习模型，特别是图卷积网络在本实现中不可或缺的核心库。
  • Python: 支持的版本为 2.7 或 3.6。Python 是运行此图卷积网络代码的基本环境。

Python 包依赖:
确保这些包在 Python 环境中被正确安装，是模型正常运行的前提。你可以通过运行以下命令来安装或验证这些依赖：

pip install numpy torch scipy

上述的指令如何使用呢？？？

当你需要安装 numpy, torch, 或 scipy 等 Python 库时，可以通过使用 pip 命令来完成安装。这是 Python 的包安装器，能够从 Python 包索引(PyPI)自动下载并安装软件包。下面是一步步指导如何使用这条安装命令：

在 Jupyter Notebook 中使用 pip 安装命令：

  1. 打开 Jupyter Notebook：

    • 启动 Jupyter Notebook，通常通过在终端中输入 jupyter notebook 命令启动。

  2. 新建一个终端：

    • 在 Jupyter Notebook 的界面中，找到菜单栏中的“New”（新建），然后选择“Terminal”（终端）。这会打开一个新的命令行界面。

  3. 执行安装命令：

    • 在打开的终端中，复制并粘贴 pip install numpy torch scipy 命令，然后按回车键执行。

在 Visual Studio Code (VSCode) 或其他 IDE 中使用 pip 安装命令：

  1. 打开 IDE：

    • 启动你的 IDE，如 Visual Studio Code。

  2. 打开终端：

    • 在 VSCode 中，可以通过选择顶部菜单的“Terminal”（终端）> “New Terminal”（新建终端）来打开一个终端。

  3. 执行安装命令：

    • 在终端中，粘贴 pip install numpy torch scipy 命令并回车执行。

这样，你所需要的包就会被下载并安装到你的 Python 环境中。安装完成后，你可以在任何 Python 程序或脚本中导入并使用这些库。

注意事项：

  • 确保你的 Python 环境配置正确，pip 命令针对的是正确的 Python 版本。
  • 如果你使用的是 Python 3，则可能需要使用 pip3 命令代替 pip。
  • 如果在安装过程中遇到权限问题，可以尝试在命令前添加 sudo（在 Linux 或 macOS 中），例如 sudo pip install numpy torch scipy，以提升权限执行安装。

通过按照上述指导，你可以轻松地在各种环境中安装 Python 包，以便于进行后续的开发和研究工作。

2. 代码的运行

在这里我仅仅展示如何修改代码保证模型的正确运行，下面是代码的文件划分：

请添加图片描述

根据你的运行环境，操作方式会有所不同。下面提供了在两种常见环境中运行 train.py 文件的方法：

在 IDE（如 PyCharm, VSCode 等）中运行 train.py：

  1. 打开 IDE：

    • 启动你的 IDE（例如 Visual Studio Code, PyCharm 等）。

  2. 打开 train.py 文件：

    • 在 IDE 中打开包含 train.py 的项目文件夹。然后从项目文件树中找到并点击 train.py 文件，打开它。

  3. 运行脚本：

    • 大多数 IDE 都有一个运行按钮，通常显示为一个绿色的三角形图标。在打开了 train.py 文件的窗口中，点击这个运行按钮即可开始执行脚本。
    • 你也可以通过 IDE 的顶部菜单找到“运行”或者“调试”选项来执行脚本。

在 Jupyter Notebook 中运行 train.py：

  1. 将 train.py 转换为 Notebook 格式：

    • 首先，你需要将 train.py 文件的内容转换为单独的代码单元。这可能需要手动将脚本中的代码段分割并复制到 Jupyter Notebook 的不同单元格中。

  2. 执行代码单元：

    • 在 Jupyter Notebook 中，你可以逐个运行每个代码单元。点击一个单元格，然后使用键盘快捷键 Shift + Enter 或点击工具栏的运行按钮来执行该单元格中的代码。
    • 确保按照 train.py 脚本中代码的原始顺序来执行各个单元格。

这些步骤提供了在不同开发环境中运行 Python 脚本的灵活性，无论是直接在 IDE 中还是通过 Jupyter Notebook，都有助于实现代码的逐步运行和调试。根据你的具体需求和环境配置，选择最适合你的方法来运行和测试 train.py。

2.1 报错处理

如果出现报错信息，ModuleNotFoundError: No module named 'pygcn'

解决方法1：

  • 确保当前工作目录正确：当你在终端或命令行界面运行脚本时，确保当前目录（工作目录）是项目的根目录。你可以在执行 Python 命令之前使用 cd 命令更改目录。
    cd /你下载代码的路径
    注意由于是github下载的所以会出现master的文件名修改，所以各位酌情思考下这个路径修改

解决方法2：
另外一种简单粗暴的解决方式就就是你将model.py和train。py文件下的from pygcn.utils import load_data, accuracy全部修改成from utils import load_data, accuracy。删除掉pygcn，然后再次运行即可。

  1. 修改导入语句：
    打开 model.py 和 train.py 文件，找到所有包含 from pygcn.utils import load_data, accuracy 的导入语句。

  2. 进行修改：
    将这些导入语句修改为 from utils import load_data, accuracy。这样，Python 解释器会在当前目录（或根据 PYTHONPATH 环境变量设定的路径）下寻找名为 utils 的模块而不是 pygcn.utils。

  3. 保存更改：
    保存你所做的更改。

  4. 重新运行脚本：
    在命令行或IDE中，重新运行 train.py 脚本以检查问题是否已解决。

通过这样的修改，你可以避免包导入路径错误的问题，并且使项目结构更为简洁。这种方法非常直接，有时候对于小型或个人项目而言是最快解决问题的方式。如果将来你需要将项目部署或分享给他人，也请确保所有文件的导入路径都被适当地设置，以便他人也能顺利运行。

2.2 运行结果

代码成功的可以运行了，下面是对代码的运行结果展示：
请添加图片描述
根据输出日志，我们可以对模型的训练和测试过程进行一些基本的分析和解读：

训练结果概览

  1. 训练过程：

    • Epoch 199：

      • 训练集上的损失（loss_train）：0.4326
      • 训练集上的准确率（acc_train）：92.14%
      • 验证集上的损失（loss_val）：0.7013
      • 验证集上的准确率（acc_val）：83.33%
      • 耗时：0.0165秒

    • Epoch 200（最后一个训练周期）：

      • 训练集上的损失：0.4208
      • 训练集上的准确率：96.43%
      • 验证集上的损失：0.6993
      • 验证集上的准确率：83.33%
      • 耗时：0.0235秒

  2. 训练结束：

    • 总体耗时：2.7204秒

测试结果

  • 测试集上的损失（loss）：0.7198

  • 测试集上的准确率（accuracy）：83.80%

  • 从上述数据可以看出，模型在训练集上的表现逐渐改善，最后一个周期的训练准确率达到了非常高的水平（96.43%）。这表明模型在学习训练数据方面表现良好。

  • 验证集和测试集的准确率均稳定在83.33%到83.80%之间，表明模型在未见过的数据上也具有较好的泛化能力。

  • 注意到验证集的损失在训练过程的最后略有下降，这是一个良好的迹象，说明模型并未出现严重的过拟合。

此外，总体上模型的训练时间非常短（约2.7秒），这可能是因为数据集较小或模型结构较简单。如果在更大的数据集上或使用更复杂的模型结构，需要进一步评估训练时间和资源消耗。各位可以通过调整网络的结构运行不断的查看对代码进行修改找到属于自己模型。其实看过原始论文的读者一定会意外为什么这个torch版本的GCN测试结果这么好，似乎不准确，在这个的后续章节我会对这个代码问题做出解释，欢迎各位催更。

3.总结

现阶段我们已经全面介绍了模型的运行方法及GCN的理论基础。在接下来的篇章中，我们将深入探索该模型及相关论文中的核心架构和代码实现。

对于对这一主题感兴趣的读者来说，此部分将提供一个详细的技术视角，帮助您理解模型是如何从基本理论出发，通过精确的数学建模和编程实现，以达到预期的机器学习任务效果的。解析主体架构不仅对于理解模型的工作原理至关重要，对于那些希望在此基础上进行改进或自定义应用的研究者和开发者也极具价值。

如果你对此感兴趣，不妨点赞、收藏并关注，这是对我工作的最大支持和鼓励。非常感谢！如果有任何问题，欢迎随时私信我。期待与你的互动！
在这里插入图片描述

Pytorch实现GCN(基于PyTorch实现)
优快云 精品推荐
01-20 6349
本专栏整理了《图神经网络代码实战》，内包含了不同图神经网络的相关代码实现（PyG以及自实现），理论与实践相结合，如GCN、GAT、GraphSAGE等经典图网络，每一个代码实例都附带有完整的代码。
图神经网络（二）—GCN-pytorch版本代码详解
weixin_44027006的博客
04-11 1万+
GCN代码详解-pytorch版本1 GCN基本介绍2 代码解析2.1 导入数据2.2 GCN模型框架2.3 评估与训练参考资料 写在前面… 在研究生的工作中使用到了图神经网络，所以平时会看一些与图神经网络相关的论文和代码。写这个系列的目的是为了帮助自己再理一遍算法的基本思想和流程，如果同时也能对其他人提供帮助是极好的~博主也是在学习过程中，有些地方有误还请大家批评指正！ github: https://github.com/OuYangg/GNNs 1 GCN基本介绍 论文标题：Semi-super
GCN参考文献.zip
08-20
Graph Convolutional Network（GCN）相关paper本分类任务是NLP领域一个重要和经典的问题，先前的工作利用CNN进行了很多尝试，但是却鲜有使用GCN来建模。作者提出了使用Text GCN来进行文本分类任务，基于词共现和文档词关系为一个语料建立一个单独的文本图，然后为语料学习Text GCN模型。该模型通过One-hot表示为词和文档初始化，然后联合学习词和文档的Embedding。实验结果表明，在没有任何外部的词Embedding和知识的情况下，本文提出的Text GCN模型在多个文本分类benchmark数据集上取得了SOAT的效果。另一方面，Text GCNT也在学习预测词和文档的Embedding，在训练数据量更少的情况下，Text GCN在文本分类任务上比SOAT的优势更明显，表现出了很好的鲁棒性。
GCN源码阅读-Pytorch
qq_38420683的博客
03-27 566
前期准备 项目地址 该项目是基于pytorch的，整个项目的目录结构如下，主要关注的是data和pygcn两个文件夹下的。data是已经处理好的数据，pygcn是代码部分。 通过tree /F 可以坐在windows下获得递归的文件树 │ .gitignore │ figure.png │ LICENCE │ README.md │ setup.py │ ├─data │ └─cora │ cora.cites │ cora.content │
GNN学习/GCN学习/GNN环境配置cuda安装/GCN代码展示
qq_43369406的博客
05-06 1239
相比较CNN假设的平移不变性是二维的，RNN假设的时序不变性是一维的，GNN假设的图的对称性是多维的。1. CNN的平移不变性CNN（卷积神经网络）的平移不变性指的是，当输入图像在平移时，CNN仍能识别出相同的特征和模式。在卷积层中，卷积核通过滑动窗口的方式在输入图像上移动，对每个窗口进行卷积操作。由于卷积核的权重是固定的，因此当输入图像平移时，卷积核所卷积的图像区域也会相应地平移，从而保证了卷积操作的平移不变性。
GCN
travalscx的博客
07-05 690
又是一个提醒我学习的log
win10下pyg之gcn代码成功运行
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
12-23 1885
环境搭建 本人是基于anaconda创建虚拟环境pyg并安装torch个pyg相关包，安装见 代码运行 本人代码运行使用的是pycharm，安装很简单，可以自行搜索，安装好后进行下面3个步骤 代码准备 直接去pyg官方git下载源代码,然后解压 解析器选择 因为虚拟环境和pycharm已经准备好，因此打开pycharm-文件-open-选择解压后的代码文件见下,选择解析器，具体见本人的另一篇博客解析器选择 打开examples里面很多模型代码，找到下面的gcn.py代码，右击open i
STGCN-PyTorch-master.zip_STGCN 代码分析_STGCN pytorch_stgcn_stgcn d
07-15
这个"STGCN-PyTorch-master.zip"压缩包包含了一个基于PyTorch实现的STGCN源码，是IJCAI 2018年计算机顶会的一篇论文的代码实现。以下是对STGCN模型以及其PyTorch实现的详细解释： 1. **STGCN模型结构**： - **图...
GCN论文源码（pytorch）超级详细注释讲解！
01-20
这篇文章的代码非常经典，很值得学习，如有错误请指正 utils.py import numpy as np import scipy.sparse as sp import torch ''' 先将所有由字符串表示的标签数组用set保存，set的重要特征就是元素没有重复， 因此...
pytorch框架下—GCN代码详细解读
热门推荐
Melvin Dong的博客
08-19 5万+
说明：本文是对论文“SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS， ICLR 2017”中描述的GCN模型代码的详细解读。 代码下载地址：https://github.com/tkipf/pygcn 论文下载地址：https://arxiv.org/abs/1609.02907 数据集下载地址：https://linqs-data.soe.ucsc.edu/public/lbc/cora.tgz 目录代码结构总览一、数据.
ST-GCN基于图卷积的行为识别修改模型文件
10-28
ST-GCN官方代码模型，下载后有误，在github上找到的修改版模型，实测可以使用，测试结果与论文中基本一致
讲GCN的最好的资料
02-22
讲GCN的最好的资料。Thomas Kipf亲自做的，非常详细，细致，很有收获！ KG
配置ST-GCN：
XYKenny的博客
07-09 1637
配置ST-GCN： https://blog.youkuaiyun.com/Dongjiuqing/article/details/89449688 https://blog.youkuaiyun.com/weixin_39513374/article/details/88803448
[图神经网络]PyTorch简单实现一个GCN
就随便写写....
04-12 3429
图神经网络PyG实现
图卷积神经网络(GCN)综述与实现（PyTorch版)
qq_45957458的博客
06-14 1万+
图卷积神经网络的数学推导和实现！
GCN使用的数据集Cora、Citeseer、Pubmed、Tox21格式
知行合一，止于至善
09-14 4万+
文章目录Cora、Citeseer、Pubmed以Cora为例数据格式示例Tox21 数据集 本文分享一下图卷积网络GCN里用到的一些数据集的格式 Cora、Citeseer、Pubmed 数据集 来源 #图 #节点 #边 #特征 #标签(y) Cora “Collective classification in network data,” AI magazine,2008 1 ...
GCN从理论到实践——基于PyTorch的图卷积网络层实现
最新发布
ttrr27的博客
02-28 2186
Hi，大家好，我是半亩花海。图卷积网络（Graph Convolutional Network, GCN）是一种处理图结构数据的深度学习模型。它通过聚合邻居节点的信息来更新每个节点的特征表示，广泛应用于社交网络分析、推荐系统和生物信息学等领域。本实验通过实现一个简单的 GCN 层，展示了其核心思想，并通过具体代码示例说明了 GCN 层的工作原理。
【PyTorch】基本使用演示
彬彬侠的博客
01-13 2081
本文是PyTorch的基本使用方法总结，涵盖了张量操作、自动求导、模型构建与训练等核心内容，并给出了完整Python构建和训练一个完整模型示例。PyTorch 提供了灵活的 API，以下是主要功能：张量操作：支持 GPU加速，类似于NumPy。自动求导：通过autograd模块轻松实现梯度计算。模型定义：使用nn.Module构建神经网络。数据加载：通过Dataset和DataLoader管理数据。优化与训练：结合损失函数与优化器完成参数更新。
gcn代码详解pytorch
05-16
GCN（Graph Convolutional Networks，图卷积网络）是一种用于图像分类、节点分类等图像处理任务的深度学习模型。下面我将介绍如何使用PyTorch实现GCN。 首先，我们需要安装PyTorch和其它必要的库。可以使用以下命令安装： ``` pip install torch torchvision pip install numpy scipy scikit-learn ``` 接下来，我们需要定义一个GCN模型。以下是一个简单的实现： ```python import torch import torch.nn as nn import torch.nn.functional as F class GCN(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(GCN, self).__init__() self.fc1 = nn.Linear(input_dim, hidden_dim) self.fc2 = nn.Linear(hidden_dim, output_dim) def forward(self, x, adj): x = F.relu(self.fc1(torch.mm(adj, x))) x = self.fc2(torch.mm(adj, x)) return F.log_softmax(x, dim=1) ``` 在上面的代码中，我们定义了一个三层的GCN模型。`input_dim`是输入特征的维度，`hidden_dim`是隐藏层的维度，`output_dim`是输出层的维度。`nn.Linear`是一个线性层，`F.relu`是一个激活函数，`F.log_softmax`是一个softmax函数。 接下来，我们需要定义一个训练函数。以下是一个简单的实现： ```python def train(model, optimizer, criterion, features, adj, labels, idx_train): model.train() optimizer.zero_grad() output = model(features, adj) loss = criterion(output[idx_train], labels[idx_train]) loss.backward() optimizer.step() return model, optimizer, loss.item() ``` 在上面的代码中，我们定义了一个训练函数。`features`是输入特征，`adj`是邻接矩阵，`labels`是标签，`idx_train`是训练样本的索引。我们使用`model.train()`将模型切换到训练模式，然后使用`optimizer.zero_grad()`将梯度清零，使用`model(features, adj)`计算输出，使用`criterion(output[idx_train], labels[idx_train])`计算损失，使用`loss.backward()`计算梯度，使用`optimizer.step()`更新参数。 接下来，我们需要定义一个测试函数。以下是一个简单的实现： ```python def test(model, features, adj, labels, idx_test): model.eval() output = model(features, adj) _, preds = torch.max(output, dim=1) correct = torch.sum(preds[idx_test] == labels[idx_test]) acc = correct.item() / len(idx_test) return acc ``` 在上面的代码中，我们定义了一个测试函数。`features`是输入特征，`adj`是邻接矩阵，`labels`是标签，`idx_test`是测试样本的索引。我们使用`model.eval()`将模型切换到测试模式，然后使用`model(features, adj)`计算输出，使用`torch.max`计算最大值，使用`torch.sum`计算正确的预测数量，使用`acc = correct.item() / len(idx_test)`计算准确率。 以下是一个完整的GCN模型的实现： ```python import torch import torch.nn as nn import torch.nn.functional as F class GCN(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(GCN, self).__init__() self.fc1 = nn.Linear(input_dim, hidden_dim) self.fc2 = nn.Linear(hidden_dim, output_dim) def forward(self, x, adj): x = F.relu(self.fc1(torch.mm(adj, x))) x = self.fc2(torch.mm(adj, x)) return F.log_softmax(x, dim=1) def train(model, optimizer, criterion, features, adj, labels, idx_train): model.train() optimizer.zero_grad() output = model(features, adj) loss = criterion(output[idx_train], labels[idx_train]) loss.backward() optimizer.step() return model, optimizer, loss.item() def test(model, features, adj, labels, idx_test): model.eval() output = model(features, adj) _, preds = torch.max(output, dim=1) correct = torch.sum(preds[idx_test] == labels[idx_test]) acc = correct.item() / len(idx_test) return acc ``` 接下来，我们需要加载数据。以下是一个简单的实现： ```python import numpy as np def load_data(): adj = np.array([[0, 1, 1, 0], [1, 0, 1, 0], [1, 1, 0, 1], [0, 0, 1, 0]]) features = np.array([[0, 1, 0], [1, 0, 0], [0, 0, 1], [1, 0, 0]]) labels = np.array([0, 1, 2, 0]) idx_train = np.array([0, 1, 2]) idx_test = np.array([3]) return adj, features, labels, idx_train, idx_test ``` 在上面的代码中，我们定义了一个简单的图。`adj`是邻接矩阵，`features`是输入特征，`labels`是标签，`idx_train`是训练样本的索引，`idx_test`是测试样本的索引。 接下来，我们需要训练模型。以下是一个简单的实现： ```python import torch.optim as optim adj, features, labels, idx_train, idx_test = load_data() model = GCN(input_dim=features.shape[1], hidden_dim=16, output_dim=labels.max()+1) optimizer = optim.Adam(model.parameters(), lr=0.01) criterion = nn.CrossEntropyLoss() for epoch in range(100): model, optimizer, loss = train(model, optimizer, criterion, features, adj, labels, idx_train) acc = test(model, features, adj, labels, idx_test) print('Epoch: {:03d}, Loss: {:.4f}, Acc: {:.4f}'.format(epoch, loss, acc)) ``` 在上面的代码中，我们定义了一个优化器和一个损失函数。然后，我们使用一个循环来训练模型，并使用`test`函数测试模型。我们使用`print`函数打印训练和测试的损失和准确率。 以上就是使用PyTorch实现GCN的一些基本步骤。当然，这只是一个简单的实现，实际中还有很多需要改进的地方。希望能对你有所帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

这个男人是小帅

请小弟喝杯咖啡☕️鼓励下吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值