few-shot learning几篇论文

最新推荐文章于 2025-06-15 01:34:38 发布
原创 最新推荐文章于 2025-06-15 01:34:38 发布 · 2.4k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#few-shot learning #小样本学习

Prototypical Networks for Few-shot Learning

  • 论文链接：https://arxiv.org/abs/1703.05175
  • 开源代码：https://github.com/jakesnell/prototypical-networks
  • 发表时间：2017年6月
  • 该论文属于metric_based
  • 论文中心思想：经过神经网络学会一个映射，将所有样本映射到同一空间，每个类别样本存在一个原型（我理解就是每个聚类的中心），该原型就是对应类别所有样本embedding的均值。局里度量是欧式距离的平方，训练时，每个query set中样本embedding到所属类别的原型距离越近越好，到其他类别原型距离越远越好。
  • 论文创新点：原型（即class_level representation）
  • 算法结构
    在这里插入图片描述
    在这里插入图片描述
    注：上如图J更新公式有一处错误，最后的 c k c_k ck​应该为 c k ′ c_{k'} ck′​。
  • loss函数：
    p ϕ ( y = k ∣ x ) = e x p ( − d ( f ϕ ( x ) , c k ) ) ∑ k ′ e x p ( − d ( f ϕ ( x ) , c k ′ ) ) p_{\phi}(y=k|x)=\frac{exp(-d(f_{\phi}(\mathbf{x}),\mathbf{c}_k))}{\sum_{k&#x27;}exp(-d(f_{\phi}(\mathbf{x}),\mathbf{c}_{k&#x27;}))} pϕ​(y=k∣x)=∑k′​exp(−d(fϕ<
最低0.47元/天 解锁文章

200万优质内容无限畅学
计算机视觉：少样本学习（Few-Shot Learning）在视觉中的应用
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
06-04 4万+
计算机视觉：少样本学习（Few-Shot Learning）在视觉中的应用 ，人工智能，计算机视觉，大模型，AI，少样本学习（Few-Shot Learning, FSL）应运而生，其目标是利用极少量的标注样本训练模型，使模型能够对新的样本进行准确分类或预测。这一技术模拟人类从少量示例中快速学习并泛化到新情况的能力，为解决数据稀缺问题提供了有效的途径，在计算机视觉领域展现出巨大的潜力和应用价值。
论文笔记：【ICLR 2024】SPATIO-TEMPORAL FEW-SHOT LEARNING VIA DIFFUSIVE NEURAL NETWORK GEN
Zongyouqiangu的博客
07-31 1741
时空建模往往受到数据稀缺的阻碍。为弥补这一缺陷，本文提出了一种新的生成式预训练框架GPD，用于时空少样本学习。该方法通过使用源城市数据优化的神经网络参数集合进行生成式预训练，将时空少样本学习改写为生成式扩散模型的预训练。GPD采用了基于Transformer的去噪扩散模型，在prompt的引导下生成定制的神经网络，以适应多样化的数据分布和城市特定的特征。该框架与模型无关，可与强大的时空神经网络集成，在交通速度预测和人群流量预测任务上均表现出优越性能。
基于contrast learning的few-shot learning论文集合（1）
weixin_43994864的博客
05-07 1384
论文一：《Learning a Few-Shot Embedding Model with Contrastive Learning》AAAI 2021 论文链接：https://www.aaai.org/AAAI21Papers/AAAI-2249.LiuC.pdf 代码链接：https://github.com/corwinliu9669/Learning-a-Few-shot-Embedding-Model-with-Contrastive-Learning 本文提出一种新的对比训练方案infoP
【论文整理】小样本学习Few-shot learning论文整理收藏（最全，持续更新）
诸葛灬孔暗
07-14 9962
一、综述类 1.Generalizing from a Few Examples: A Survey on Few-Shot Learning 2.Generalizing from a few examples: A survey on few-shot learning, CSUR, 2020. 3.Rethinkingfew-shotimage classification: a good embedding is all you need?ECCV2020. 4.Prototyp...
少样本学习（Few - Shot Learning）
最新发布
mayaohao的博客
06-15 294
影响模型对任务的理解和执行效果，示例越少（zero - shot → one - shot → few - shot 示例逐步变多 ），模型 “猜着干” 的成分越大、效果越差；示例越充分（few - shot 给了少量但够用的参考 ），模型越容易摸准任务套路，效果越好。GPT - 3 这类大模型实验，也验证了 “给模型多些参考，任务表现更靠谱” 的规律。简单说，就是给模型 “任务示例” 的。的情况下，直接执行任务。，让它依此完成任务。
【论文翻译】小样本学习（Few-Shot Learning）背景和主要方向简介
Lexusss的博客
07-18 1831
【论文翻译】小样本学习（Few-Shot Learning）背景和主要方向简介 本文主要翻译自论文Generalizing from a Few Examples: A Survey on Few-Shot Learning的前两部分，这两部分对于小样本学习有了简要的介绍，并给出了形式上的定义，同时对于小样本学习在机器学习领域中的地位做出了梳理，并阐述了与机器学习相关问题的区别和联系。 文章将小样本学习的工作分为三个方向，后面几个部分主要是对于各个方向的工作进行了系统性总结，受时间和能力所限，具体算法罗列的
论文阅读笔记《Few-Shot Image Recognition with Knowledge Transfer》
深视
08-21 2580
小样本学习&元学习经典论文整理||持续更新 核心思想   本文提出一种基于语义信息的小样本学习算法（KTN）。作者称其为知识迁移（Knowledge Transfer），但其实就是利用目标的标签包含的语义信息作为一种先验知识，来辅助目标分类。整个模型分成视觉特征学习模块（Visual Feature Learning Module），知识迁移模块（Knowledge Transfer Module）和视觉-知识融合模块（Vision-Knowledge Fusion Module），整个网络的结构如
Learning to Compare: Relation Network for Few-Shot Learning 论文理解
我的博客
12-07 1078
先介绍两个概念： 零样本识别：我们有一些有标签数据，想让它识别没有标签的数据，比如 有猫和狗的有标签数  据，想识别猪，这种情况必须提供一些其他数据，比如标签的属性 少量样本识别：直接举例，猫和狗数据有100000张，猪只有10张 文章的大体思想是 模拟人类进行识别，我们人之所以能够识别一个新的东西，在于我们人的视觉系统天生的能够对任意物体提取特征，并进行比较。因为我们能够比较不同物体，所以...
Adaptive Subspaces for Few-Shot Learning.pdf
10-19
论文作者提供了代码实现，位于 GitHub 仓库 https://github.com/chrysts/dsn_fewshot 中。该仓库包含了 Adaptive Subspaces 框架的实现代码，可以帮助研究者快速实现 Few-Shot Learning。 结论 论文 "Adaptive ...
gpt3-Language-Models-are-Few-Shot-Learners.pdf
06-04
本篇论文介绍了大型语言模型 GPT-3 在少样本学习（few-shot learning）任务中的出色表现。实验表明，GPT-3 能够在无需fine-tuning的情况下，仅通过少量示例或简单的指令，就可以完成各种 NLP 任务，达到与 state-of-...
论文精读《Prototypical Networks for Few-shot Learning》
weixin_58439986的博客
08-11 1129
当数据较少时，分类算法在拟合过程中产生过拟合现象，导致分类结构与实际结果存在较大的误差。为了避免出现过拟合现象，作者提出了基于度量学习的元学习---原型网络
元学习2之原型网络prototypical-networks for few-shot learning回顾
joejoeqian的博客
04-17 761
小样本学习不仅仅训练和测试集的样本没有交集，类别也是没有交集的论文一共做了两个任务：1.小样本；2. 零样本。如图左边：三种颜色代表三个类别（3-way），c1c2c3c1​c2​c3​分别是三个类别的中心，用类中心表示类别的好处就是某个类别中某些数据存在一些噪声，用类中心来表示这个特征，比较robust，类中心对抗噪声的能力比单个样本生存的这个特征要强很多。类中心（prototypesvc1∣Sc∣∑xiyi∈Scfθxi。
Prototypical networks for few-shot learning.
Pr4da的博客
06-05 1510
这篇论文是介绍《作者公布了他的Pytorh。如果看不太懂原作者的代码话可以看一下这一个：https://github.com/orobix/Prototypical-Networks-for-Few-shot-Learning-PyTorch。
【少样本】学习综述：小样本学习研究综述
zenRRan的博客
07-26 9719
点击下面卡片，关注我呀，每天给你送来AI技术干货！来源：知乎—Jy的炼丹炉地址：https://zhuanlan.zhihu.com/p/389781532(侵删)随着大数据时代的到来,深...
【深度学习系列（六）】：RNN系列（4）：带注意力机制的seq2seq模型及其实战(1)
wxplol的博客
02-22 4754
参考链接： Seq2Seq模型讲解 完全图解Seq2Seq Attention模型 完全解析RNN, Seq2Seq, Attention注意力机制
小样本学习(few-shot learning)介绍
Bluebro的博客
04-10 1万+
小样本学习（few-shot learning，FSL）旨在从有限的标记实例（通常只有几个）中学习，并对新的、未见过的实例进行识别。首先，在FSL设置中，通常有三组数据集，包括支持集S、查询集Q和辅助集A。S中的实例类别已知，Q中实例类别未知但一定属于S，S和A的实例类别一定不相交，即S中的类别一定不会出现在A中。 FSL任务通常被设定为 N-way K-shot 的形式，其中N是类别的数量，K是每个类别中标记的样本数量，表示支持集 S有N个类，每个类有K个标记样本。N通常为5。K通常设为1或5
【计算机视觉】Zero-shot, One-shot和Few-shot的理解
wzk4869的博客
03-09 2万+
【计算机视觉】Zero-shot, One-shot和Few-shot的理解
小样本学习（Few-shot Learning）综述
热门推荐
Paper weekly
04-01 2万+
作者丨耿瑞莹、李永彬、黎槟华单位丨阿里巴巴智能服务事业部小蜜北京团队分类非常常见，但如果每个类只有几个标注样本，怎么办呢？笔者所在的阿里巴巴小蜜北京团队就面临这个挑战。我...
few-shot是哪篇论文提出
06-08
Few-shot learning 的概念最早可以追溯到 Lake 等人在 2011 年的一篇论文，该论文首次提出了从少量样本中学习的思路[^5]。然而，真正将 few-shot learning 系统化并引入深度学习领域的关键工作是由 Santoro 等人在 2016 年发表的《Meta-Learning with Memory-Augmented Neural Networks》[^6]，以及由 Vinyals 等人在同年提出的《Matching Networks for One Shot Learning》[^7]。这些研究奠定了 few-shot learning 在现代深度学习中的理论基础。 此外，另一个重要的里程碑是 Snell 等人在 2017 年提出的 Prototypical Networks[^8]，它为 few-shot learning 提供了一种基于度量学习的有效框架。尽管 few-shot learning 的具体术语可能在更晚的时间被正式定义，但上述研究标志着该领域的重要起点。 ### Few-shot Learning 的核心思想 Few-shot learning 的目标是从有限数量的样本中学习新任务或类别，通常用于解决数据稀缺的问题。这一领域结合了元学习（meta-learning）、迁移学习（transfer learning）和生成模型等技术[^1]。 ### 相关代码示例 以下是一个简单的 few-shot learning 框架的伪代码实现，基于 Prototypical Networks 的思想： ```python import torch import torch.nn as nn class PrototypicalNetwork(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(PrototypicalNetwork, self).__init__() self.encoder = nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, output_dim) ) def forward(self, support_set, query_set): # 编码支持集和查询集 prototypes = self.encoder(support_set).mean(dim=0) # 计算原型 query_embeddings = self.encoder(query_set) # 计算距离 distances = torch.cdist(query_embeddings.unsqueeze(0), prototypes.unsqueeze(0)) return -distances.squeeze() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

勤劳的凌菲

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值