《Few-Shot Learning with Graph Neural Networks》代码理解

最新推荐文章于 2023-06-21 18:28:16 发布
原创 最新推荐文章于 2023-06-21 18:28:16 发布 · 1.9k 阅读 · 28 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了使用Graph Neural Networks (GNN)进行Few-shot Learning的方法。通过5-way 1-shot任务为例，展示了在一个episode中如何处理查询图像和构建支持集。在训练过程中，首先利用编码器提取特征，接着GNN模块计算节点间相似度，最后通过softmax层进行分类。GNN内部包含了Wcompute和Gconv两个关键步骤，分别用于计算权重和生成新特征。整个流程涉及特征提取、相似度计算和损失计算，揭示了GNN在解决少样本学习问题中的核心机制。

参考了解读: Few-shot learning with Graph Neural Networks - Yuan Z的文章 - 知乎

代码使用 o m n i g l o t omniglot omniglot数据集，以 5 w a y − 1 s h o t 5way-1shot 5way−1shot为例，一个 e p i s o d e episode episode只有一张 q u e r y query query，一个 b a t c h batch batch中有 300 300 300个 e p i s o d e episode episode

文章目录


在 main.py中的第144行开始训练的迭代

数据

首先加载数据

# main.py line149
data = train_loader.get_task_batch(batch_size=args.batch_size, n_way=args.train_N_way,
                                   unlabeled_extra=args.unlabeled_extra, num_shots=args.train_N_shots,
                                   cuda=args.cuda, variable=True)
[batch_x, label_x, _, _, batches_xi, labels_yi, oracles_yi, hidden_labels] = data

在一般的情况下(不是半监督学习)，我们只需要用到

  • batch_x查询的图片(300,1,28,28)
  • label_x查询图片的 o n e − h o t one-hot one−hot标签(300,5)
  • batches_xi支持集[(300,1,28,28),(300,1,28,28),(300,1,28,28),(300,1,28,28),(300,1,28,28)]
  • labels_yi支持集 o n e − h o t one-hot o
最低0.47元/天 解锁文章
小样本学习 (FewShot Learning) 原理与代码实例讲解
AI天才研究院
07-26 817
小样本学习 (Few-Shot Learning) 原理与代码实例讲解 关键词： 小样本学习 几次学习 弱监督学习 迁移学习 基于原型的学习 适应性学习
FewShot Learning 原理与代码实例讲解
最新发布
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
06-30 174
Few-Shot Learning 原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 在机器学习领域，通常情况下，模型的训练需要大量的数据集，以捕捉输入数据的多样性和复杂性，从而实现良好的泛化能力。然而，在实际应用中
FEW-SHOT LEARNING WITH GRAPH NEURAL NETWORK
weixin_44576543的博客
11-16 728
FEW-SHOT LEARNING WITH GRAPH NEURAL NETWORK使用图神经网络的小样本学习 代码：github.com/vgsatorras/few-shot-gnn 摘要：我们提出研究一种基于部分观察图形模型的三棱镜推理的小样本学习问题，建立一组图片（标记或者不标记），通过同化消息传递推理算法使用深度学习框架，定义了可以泛化的小样本学习图神经网络框架，我们的框架很...
easy-few-shot-learning:易于使用的代码和教程笔记本，助您轻松实现几幅图像分类
05-18
简单易学 易于使用的代码和教程笔记本，助您轻松完成几幅图像分类。 如果满足以下条件，则为您创建此存储库： 您是初学者学习的新手，想学习； 或者您正在寻找可用于项目的可靠，清晰且易于使用的代码。 不要在拥有数百种方法的大型存储库中迷路，也不必对如何使用它们进行任何解释。 在这里，我们希望每行代码都包含在一个教程中。 里面有什么？ 笔记本：学习和练习 您想学习一次性学习，不知道从哪里开始？ 从我们的教程开始。 您可以使用和理解的代码 楷模： ：一个抽象类，其方法可用于任何可元训练的算法 数据加载工具： ：易于使用的Dataset对象，用于按类别对目录进行拆分以处理图像的数据集 ：以几次快照分类任务的形式对批次进行采样 数据集以测试您的模型 CU-Birds ：我们提供了一个脚本来下载和提取数据集，以及沿着类的元训练/元数据/元测试分割。 该数据集可与EasySet一起使用。
Few-Shot Learning with Graph Neural Networks（图神经网络小样本学习）
qq_41180996的博客
10-29 5052
GNN是由许多节点和边构成的图模型，在本文中，每一个节点都代表一幅输入的图像，而每个边上的权重就表示两幅图之间的关系（可以理解为距离或者相似程度）。本文采用的是稠密连接的图，因此每两个输入图片之间都有边连接起来，邻接矩阵就储存了任意两个节点之间的权重值。最后是用于学习的网络，代码中显示是由一个全连接层构成的。然后，将特征向量与表示标签的向量h(l)【独热向量one-hot】级联起来，作为GNN的输入节点，共同输入到GNN中，而邻接矩阵的计算，就会更新两个节点之间的连接权重，因此图模型的结构也发生了变换。
Few-shot Learning with Graph Neural Networks
fnoi2014xtx的博客
07-13 923
Paper : FEW-SHOT LEARNING WITH GRAPH NEURAL NETWORKS Code : official 摘要 作者使用GNN建模少样本学习任务中的消息传递过程，将每个样本看作是图中的节点，少样本学习转化为图中给出部分节点的标签以后进行训练的点分类任务。作者提出的GNN建模方法还可以扩展到半监督学习或主动学习的任务上。 问题设定 首先给出少样本学习，主动学习和半监督学习的通用描述，考虑输入输出对 (T,Y)(\mathcal T,\mathcal Y)(T,Y) T={{.
论文笔记:Few-Shot Lear With Graph Neural Networks
u011630472的博客
04-11 1429
论文链接:Few shot learning with graph neural networks github代码链接:pytorch实现 1,INTRODUCTIION 1,元学习(新的监督学习):它的输入-输出对设置由图像集合的iid样本及其相关标签相似性代替了图像的iid样本和它相关标签. 2,探索利用相似样本的分布 代替 利用正则化取弥补数据的不足 3.文章贡献: ...
《Few-Shot Learning with Graph Neural Networks》——少样本学习与图神经网络
StreamRock的专栏
11-22 7963
目录一、简介二、【2】实现过程分析2.1 数据的准备2.2 GNN 网络2.2.1 特征提取网络2.2.2 顶点表达2.2.3 Adjacency 层2.2.4 Loss的解析2.3 数据验证所说明的问题三、GNN 的认识四、小结索引欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表...
FEW-SHOT LEARNING WITH GRAPH NEURAL NETWORKS翻译
L793404933的博客
12-08 1298
基于GNN的小样本学习 简介： 我们提出利用基于推理的图模型来研究小样本学习问题，输入图像有标签或者隐藏标签。通过使用消息传播算法，我们定义了一种图神经网络来概述最近提出的几种小样本学习的模型。除了提高数值性能之外，我们的框架还可以轻松扩展到少数学习的变体，例如半监督学习或主动学习，这证明了基于图的模型能够很好地处理“关系”任务。 介绍: 监督端到端学习是在CV,speech,机器翻译任务中是非常...
Few-Shot Learning
qq_36321330的博客
08-11 1227
Few-Shot Learning（小样本学习）与 Mata-Learning（元学习） 小样本学习问题：学会区分图片之间是相同的还是不同的，模型判断两个图片是否异同 Support Set: 带有标签的图片，（每类有2个图片），在预测的时候提供一些额外的信息 Meta learning: 让模型自己学会学习 6 way 1 shot way 越大，分类准确率会降低 shot越大，分类准确率会增加 Learn a Similarity Function 1.先从一个大数据集中学习一个相似度函数 2
few-shot-gnn代码阅读
nini_k的博客
07-06 639
训练 分为两个网络： Embedding层和GNN度量层 EmbeddingOmniglot omniglot EmbeddingOmniglot( (conv1): Conv2d(1, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False) (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (c
学习论文 “Edge-Labeling Graph Neural Network for Few-shot Learning”笔记
01-06
个人笔记对模型数学上的解读部分很大程度上受到这篇博客的启发与参考 Notation T=S∪QT=S \cup QT=S∪Q,support set and query set, support set SSS in each episode serves as the labeled training set xix_ixi​ and yi∈{C1,…,CN}=CT⊂Cy_i \in \{C_1,…,C_N\}=C_T \subset Cyi​∈{C1​,…,CN​}=CT​⊂C: iii th input data and its label, CCC is the set of all
元学习-maml-few-shot learning-代码实战
君子不器
11-21 2224
第一个文件：my_miniimagenet_train.py import os os.environ['CUDA_VISIBLE_DEVICES']='0' import torch from my_MiniImagenet import MiniImagenet import numpy as np from my_meta import Meta import argparse from torch.utils.data import DataLoader def main(): .
Few-Shot Learning With Graph Neural Networks
VIEO
03-11 501
https://zhuanlan.zhihu.com/p/67745489 在 Few-Shot Learning 中，每个类别的训练样本数据较少，如果直接训练一个多分类模型，会由于每个类别的样本较少而无法训练充分。而 GNN 的一个优点在于可以通过节点之间的连接来做信息扩散，如果把每个样本视作图中一个节点，节点之间的边是它们的某种距离度量，那么，就可以把已有label的样本的 label 信息根据节点之间相似性的强弱，有选择的扩散到与之最相似的，需要预测的样本上。这样，新样本在预测的时候，可以利用到各个
论文阅读笔记《Few-Shot Learning with Graph Neural Networks》
深视
05-21 3557
核心思想   本文提出一种采用图神经网络（Graph Neural Network，GNN）的小样本学习算法，将距离度量由欧式空间转移到非欧空间中，其核心思想还是将有标签支持样例的标签信息传递到无标签的查询样例上去，这种信息的传递可以看做一个图模型根据输入的图像和标签给出的后验推断。那么具体是如何实现的呢？首先，作者将输入数据集划分为三部分 其中(x1...xs)(x_1...x_s)(x1​...xs​)表示带有标签的支持集，(x~1...x~r)(\tilde{x}_1...\tilde{x}_r)(
小样本学习(Few-Shot Learning)
热门推荐
hellozhxy的博客
06-21 1万+
本文讲解小样本学习问题的Pretraining+Fine Tuning解法。本文使用飞桨（PaddlePaddle）基于数据集实践小样本学习问题的Pretraining+Fine Tuning解法。
Few-Shot Learning with Graph Neural Networks
燎明的专栏
02-28 7165
2 Related Workmeta-learners方式： 典型代表是, Mishra et al. (2017) used Temporal Convolutions which are deep recurrent networks based on dilated convolutions(扩张卷积), this method also exploits contextual inform...
基于PaddlePaddle复现Few-shot learning
m0_63642362的博客
11-29 451
本项目在参与【飞桨启航菁英计划】过程中完成，由百度官方提供算力支持，基于PaddlePaddle复现论文《Matching Networks for One Shot Learning》
few-shot learning with graph neural networks
06-06
Few-shot learning with graph neural networks（使用图神经网络进行少样本学习）是一种机器学习方法，旨在解决在数据集较小的情况下进行分类任务的问题。该方法使用图神经网络来学习数据之间的关系，并利用少量的样本来进行分类任务。这种方法可以在训练数据集较小的情况下，实现高准确率的分类任务。
评论 9
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值