小样本学习之原型网络

最新推荐文章于 2025-09-19 07:14:30 发布
原创 最新推荐文章于 2025-09-19 07:14:30 发布 · 2w 阅读 · 99 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#小样本学习 #度量学习

本文介绍了原型网络作为小样本分类问题的解决方案，该方法源于2016年NIPS上的Matching Networks，并进行了改进。原型网络利用度量学习，通过投影样本到一个空间使得同类样本接近，异类样本远离。训练时，通过优化目标函数使样本到其类别原型的距离最小化。测试时，未标记样本被分配到最近的类别原型。尽管原理简单，但距离度量的合理性仍有待探讨。

本次介绍的论文

《Prototypical Networks for Few-shot Learning》


原型网络是解决小样本分类问题的一个比较实用且效果还不错的方法，这篇论文是在2016年NIPS上的一篇论文《Matching Networks for One Shot Learning》的基础上，进行了改进后而来的，改进后的方法简单且实用。本次将对这篇论文进行介绍和总结。

有关小样本学习是什么的介绍，请看上一篇博客浅述小样本学习以及元学习。

 

在小样本分类问题中，最需要解决的一个问题是数据的过拟合，由于数据过少，一般的分类算法会表现出过拟合的现象，从而导致分类结果与实际结果有较大的误差。为了减少因数据量过少而导致的过拟合的影响，可以使用基于度量的元学习方法，而原型网络便是。在此方法中，需要将样本投影到一个度量空间，且在这个空间中同类样本距离较近，异类样本的距离较远，如图：

           

在这个投影空间中，存在有三个类别的样本，且相同类别的样本间距离较近。为了给一个未标注样本x进行标注，则将样本x投影至这个空间并计算x距哪个类别较近，则认为x属于哪个类别。

那么，现在有几个问题：

  • 怎么将这些样本投影至一个空间且让同类样本间距离较近？
最低0.47元/天 解锁文章
小样本学习中的Prototypical Network（原型网络）详解
白马负金羁
01-23 785
原型网络是小样本学习（Few-shot Learning）中的经典方法之一，特别适用于分类任务。它的核心思想是通过学习每个类别的“原型”来表示该类别的特征，然后通过比较新样本与这些原型的距离来进行分类
原型网络，匹配网络，孪生网络的理解
qlkaicx的博客
04-19 2459
最近准备写一篇利用元学习进行故障诊断的论文。从今天开始整理一些相关内容。主要讲讲，什么是原型网络，匹配网络，孪生网络。
PyTorch少样本学习：原型网络与匹配网络实战指南
最新发布
gitblog_00897的博客
09-19 1040
在深度学习领域，模型通常需要大量标注数据才能取得良好性能。然而，在许多实际场景中，如医学图像分析、罕见疾病诊断、特定领域分类等，获取大规模标注数据成本高昂甚至不可行。少样本学习（Few-Shot Learning, FSL）正是为解决这一痛点而生的关键技术，它允许模型仅使用极少量（通常1-5个）标注样本就能完成新类别的学习任务。 本文将深入探讨两种经典的少样本学习方法——**原型网络（Proto...
匹配网络（Matching Networks）和原型网络（Prototypical Networks）：区别详解
qlkaicx的博客
05-04 2086
在机器学习领域，特别是在处理少样本学习（Few-shot Learning）问题时，匹配网络（Matching Networks）和原型网络（Prototypical Networks）都是非常流行的元学习模型。尽管这两种方法在目标上都是为了通过少量样本实现快速学习，但它们在方法论和实现上有显著的区别。理解这两种网络的主要区别有助于在实际应用中做出更合适的选择，以达到最佳的学习效果。匹配网络是一种基于注意力机制来实现的元学习模型，它通过直接比较支持集中的样本和待分类的目标样本来进行分类。
原型网络Prototypical Network的python代码逐行解释，新手小白也可学会！！-----系列4
qlkaicx的博客
11-18 1464
这段代码是一个用于实现 Protonets 算法的类。
小样本学习（few-shot learning）之——原形网络（Prototypical Networks）
热门推荐
m0_38031488的博客
12-27 4万+
Prototypical Networks for Few-shot Learning 摘要：该文提出了一种可以用于few-shot learning的原形网络（prototypical networks）。该网络能识别出在训练过程中从未见过的新的类别，并且对于每个类别只需要很少的样例数据。原形网络将每个类别中的样例数据映射到一个空间当中，并且提取他们的“均值”来表示为该类的原形（prototy...
浅理解小样本学习：原型网络
codeshits的博客
05-23 5219
简单的介绍了小样本学习的背景，然后介绍了一部分原型网络论文的内容。
机器学习基于原型网络的少样本学习与零样本学习：分类模型优化与实验分析
05-05
相比其他小样本学习方法，原型网络具有更简单的归纳偏置，这在数据有限的情况下是有利的，并且取得了优异的结果。作者还展示了几个简单的设计决策（如距离度量的选择）可以显著改进性能。此外，原型网络被扩展到零...
学习报告：基于原型网络的小样本学习《Prototypical Networks for Few-shot Learning》
北街末雨Yyg
05-20 5219
学习报告：基于原型网络的小样本学习《Prototypical Networks for Few-shot Learning》，该论文的主要贡献有两点：（1）对图像领域的Few-Shot／Zero-Shot（小样本/零样本）任务，应用设计简单的原型网络方法（见第二部分），在通用数据集上达到了较好的实验效果（见第三部分）；（2）对原型网络本身进行了较为深入的分析，且分析了距离度量方式的选择对任务效果的影响
DL00309：基于图神经网络的Few-Shot小样本学习完整实现
07-30
基于图神经网络（GNN）的小样本学习方法。首先，通过构建图结构，将每个图像样本作为节点，利用预训练的卷积神经网络（CNN）提取特征并计算相似度来建立节点间的连接。接着，引入消息传递机制，使节点能够通过邻居...
原形网络（Prototypical Networks）基于PyTorch的实现
01-03
原形网络（Prototypical Networks）基于PyTorch的实现 代码讲解原文:https://blog.youkuaiyun.com/weixin_41803874/article/details/92068250
apeiro：原型网络应用
02-15
apeiro：原型网络应用
论文阅读笔记 Prototypical Networks for Few-shot Learning
jieming2002的博客
09-04 2115
小样本学习的原型网络 论文原文链接：https://arxiv.org/abs/1703.05175 摘要 作者提出了一种小样本分类问题的原型网络，在这种网络中，分类器必须推广到训练集中没有的新类别，每个新类别只有少量样例。该原型网络学习一个度量空间，通过计算每个类的原型表示的距离进行分类。与最近的小样本学习方法相比，该方法反映出更简单的归纳偏好，这有益于这种有限数据的状况，因此取得了出色的效果。作者给出的分析表明，某些简单的设计决定能够产生实质的改进，超过了最近的方法，包括复杂的架构选择和元学习。作者把该
【原型网络】Prototypical Networks for Few-shot Learning
靓仔博客
02-22 2433
原型网络，基于这样的想法，即存在一个嵌入，其中点围绕每个类的单个原型表示聚集。为了做到这一点，我们使用神经网络学习输入到嵌入空间的非线性映射，并将类的原型作为其在嵌入空间中的支持集的平均值。然后通过简单地找到最近的类原型对嵌入的查询点执行分类。
原型网络(Prototypical Networks) 完整流程讲解【附小样本电影分类代码】
u013250861的博客
03-28 3766
1.1 本节引入在之前的的文章中，我们介绍了关于连体网络的相关概念，并且给出了使用Pytorch实现的基于连体网络的人脸识别网络的小样本的学习过程。在接下来的内容中，我们来继续介绍另外一种小样本学习的神经网络结构——原型网络。这种网络的特点是拥有能够不仅仅应用在当前数据集的泛化分类能力。原型网络的基本结构。原型网络算法描述。将原型网络应用于分类任务。1.2 原型网络引入相比于连体网络，原型网络是另外一种简单，高效的小样本的学习方式。与连体网络的学习目标类似。
原型网络-论文翻译
Kilig___的博客
04-07 1084
我们针对小样本分类问题提出了原型网络，在这一场景下要求分类器具有泛化能力。从而当出现训练集中没有的新类时只需少量新类就能有比较好的表现。原型网络学习一个度量空间，在其中可以通过计算到每个类的原型表示的距离来执行分类。与最近的小样本学习方法相比，它们反映了一种更简单的归纳偏差，这在这种有限的数据下是有益的，并取得了良好的结果。我们提供了一个分析，表明一些简单的设计可以比复杂的体系结构和元学习的方法产生更好的效果。我们进一步将原型网络扩展到0样本学习，并在CU-Birds数据集上取得了较好的效果。
小样本学习Few-Shot Learning——孪生网络Siamese Networks、匹配网络Matching Networks、原型网络Prototypical Networks 的简单总结
hj_0317的博客
12-26 7952
小样本学习是希望模型可以自己学会如何去学习知识。模型从support set中学习知识，使用query set中的样本检验学习知识的效果。
小样本学习原型网络
04-02
### 小样本学习中的原型网络 #### 1. 原型网络简介 原型网络是一种用于小样本学习的有效方法，其核心思想是通过计算类别的原型向量来完成分类任务。具体而言，在训练阶段，算法会从支持集（support set）中提取每种类别的特征表示，并将其平均化得到该类别的原型向量[^4]。 对于测试阶段的新样本，模型会计算它与各个类别原型之间的距离（通常采用欧氏距离），并将新样本分配给最近的原型所属的类别。 #### 2. 数学描述 假设我们有 $ N $ 类数据，每一类的数据集合为 $ S_i = \{x_{i,j}\}_{j=1}^{k} $ ，其中 $ k $ 表示每个类别的样例数。那么第 $ i $ 类的原型可以定义为： $$ c_i = \frac{1}{|S_i|} \sum_{x_j \in S_i} f(x_j) $$ 这里 $ f(\cdot) $ 是一个嵌入函数，通常是神经网络结构的一部分。最终，对于一个新的输入样本 $ x_q $，它的预测标签可以通过以下方式获得： $$ \hat{y}_q = \arg\min_i d(f(x_q), c_i) $$ 这里的 $ d(\cdot, \cdot) $ 可以选择不同的度量标准，比如欧式距离或者余弦相似度。 #### 3. 改进方向——原型补全网络 (ProtoComNet) 尽管传统的原型网络已经取得了不错的成果，但在某些情况下可能仍然存在不足之处。例如当某一类别的样本数量非常少时，仅依靠这些有限样本计算出来的原型可能会不够准确。因此，《Prototype Completion with Primitive Knowledge for Few-Shot Learning》提出了原型补全网络的概念[^3]。 此方法引入了一个额外的知识源——基础知识模块，用来辅助构建更鲁棒的类别表征。通过这种方式，即使面对极端稀疏的情况也能有效提升性能表现。 ```python import torch from torch import nn class ProtoNet(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(ProtoNet, self).__init__() self.encoder = nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, output_dim) ) def forward(self, support_set, query_set): # Extract features from the encoder network. proto_features = self.encoder(support_set).mean(dim=0) # Compute prototype by averaging embeddings of support samples. # Calculate distances between each query sample and prototypes. queries_embedded = self.encoder(query_set) dists = torch.cdist(proto_features.unsqueeze(0), queries_embedded) return -dists.squeeze() # Negative distance as logits. # Example usage: input_size = 784 # For MNIST-like data sets. hidden_layer_size = 512 output_embedding_size = 64 model = ProtoNet(input_size, hidden_layer_size, output_embedding_size) ``` 上述代码片段展示了一个简单的基于PyTorch框架实现的原型网络架构实例。 --- ###
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值