元学习论文OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING的简单理解

最新推荐文章于 2025-05-17 12:00:00 发布
原创 最新推荐文章于 2025-05-17 12:00:00 发布 · 2.4k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#元学习 #meta-learning

本文探讨了元学习在小样本数据集上的应用，特别是在深度学习模型优化方面的挑战。介绍了基于LSTM的元学习模型如何模仿人类学习方式，通过少量数据快速掌握新任务，以及该模型如何更新分类器参数以提高学习效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

我们常用的基于梯度优化的深层网络往往需要大量的数据和迭代步骤。
我们面对的数据场景是有一系列小的数据集而不是一个大的数据集，每一个类有很少的标记数据，这种情况和人类的学习很像，通过一个给定的数据，就能总结出对事物全面的认识，其中主要有两个原因导致了基于梯度的优化算法在小样本下表现不好。元学习被认为是实现人类水平的智能的一个关键点，元学习在两个层次间学习，（1）在每项任务中学习，（2）同时积累任务之间相似性和差异的知识。
受参数梯度更新的启发，提出了基于lstm的元学习模型，因为元学习的更新和lstm细胞状态的更新相似，因此我们训练一个基于lstm的元学习器来学习训练网络过程中的更新规则，我们把lstm中单元的状态看作元分类器的参数，将元学习器的更新规则和LSTM的细胞状态更新相匹配。


元学习优化器能够在给定一系列分类器在训练集的梯度和损失下，为分类器生成一系列更新，从而使分类器达到较好的表现。每一步迭代t，基于lstm的元学习器都接受到分类器传来的梯度，损失等信息，元学习器基于此计算学习率和忘记门的值，并返回给分类器要更新的参数的值，每迭代T步，分类器的损失在测试集上计算出来返回给元学习器，用来训练元学习器，更新元学习器的参数。

带注释论文的下载链接如下：
https://download.youkuaiyun.com/download/qq_34562093/10975718

元学习之《OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING》论文详细解读
seeker的博客
08-30 1566
引言 之前的博客都是通过随机梯度下降来更新网络模型参数，本篇博客别出心裁地使用 LSTM 来模拟梯度下降的更新过程，学习一种隐式更新规则实现参数更新。个人觉得创新度还是很高的。 OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING 背景 基于梯度下降的深度学习模型取得了巨大成功，但是作者认为，梯度下降更新在被发明之初就是用于大规模数据的学习，在少量数据的情况下，梯度下降更新的方法会失效，主要有以下两个原因： 各种基于梯度下降的优化算法，如 ADAM，Adagrad,
Optimization as a model for few-shot learning. (优化一个模型，用于少样本学习) -- ICLR 2017 Oral 论文
CaoChengtai的博客
07-23 7867
目录1. 摘要2. 介绍3. 任务描述3.1 问题设置4. 模型4.1 模型描述4.2 参数共享和预处理4.3 训练4.4 梯度独立性假设5. 个人理解6. 其他7. 论文链接 1. 摘要 尽管深度神经网络已经在大数据领域取得了巨大的成功，但是他们通常在少样本学习任务上表现很糟糕。少样本任务需要分类器必须在仅看到每个类很少的样本后快速推广泛化。一般认为，在高容量的分类器中的基于梯度的优化算法需要大...
元学习论文​​Optimization as a model for few-shot learning的简单理解_详细注释
02-26
元学习论文​​Optimization as a model for few-shot learning的简单理解，带有论文的详细注释和个人理解
（2017 ICLR）OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING笔记
alva_bobo的博客
11-16 2711
论文训练了一个长短期记忆网络（LSTM） 你可以训练一个神经网络，让它学会如何学习（即元学习）。具体来说，已经有一些研究团队训练出了能够执行随机梯度下降（SGD）的神经网络。不仅这些研究团队可以证明他们的神经网络能够学习SGD，而且这种网络的效果比任何人工调试的方法都要好。 与《Deep Reinforcement Learning for Accelerating the Converg
【AI论文】基于元学习的系统提示优化
m0_66899341的博客
05-17 1051
大型语言模型（LLMs）的性能高度依赖于输入提示的设计，而现有的提示优化研究主要集中在任务特定的用户提示上，忽视了任务无关的系统提示。本文提出了双层系统提示优化（Bilevel System Prompt Optimization, BSPO）问题，旨在设计对多样用户提示具有鲁棒性且可转移到未见任务的系统提示。为此，我们开发了一个元学习框架，通过在多个数据集上的各种用户提示上优化系统提示，并迭代更新用户提示以确保协同作用。实验在14个跨5个不同领域的未见数据集上进行，结果表明，优化后的系统提示能有效泛化到不
Meta-RL之Optimization as a Model for Few-Shot Learning
Ton的博客
09-25 1565
这篇文章和Andrychowicz在2016年发表的Learning to learn by gradient by gradient很相似，都是利用Meta-Learning来学习出一个优化算法，并且需要注意的是Meta-Learner都是基于LSTM的循环神经网络，这也就是本论文标题的由来——将优化看成是一个模型(RNN)。 Meta-Learning的通俗解释： 少样本学习(Few-shot Learning)是Meta-Learning在监督学习领域的一个应用。元学习的关键是找到一种系统化的方法去学
[ICLR 2017] Optimization as A model for Few Shot Learning
一亩高粱
11-23 528
Meta-LSTM用LSTM实现FSL网络的梯度下降
Optimization as a model for few-shot learning 论文笔记
qq_30146937的博客
03-23 492
前言 本文提出了一个基于LSTM的meta-learner模型来学习最优化算法，该算法将用于训练另一个learner分类器（神经网络分类器）。meta-learner捕获了任务中的short-term知识，和所有任务中共有的long-term知识，由meta-learner模型优化的另一个learner分类器在每个任务上都能快速收敛。 除此之外，meta-learner模型还学习了适用于其它lea...
小样本学习|元学习ICLR2017《Optimization as A Model for Few-shot Learning》
qq_22497977的博客
11-16 486
经典论文汇总: 小样本学习论文汇总链接
Optimization as a model for few-shot learning. (优化一个模型，用于少样本学习)---论文阅读笔记
binger520886的博客
07-01 821
参考博客：https://blog.youkuaiyun.com/weixin_37589575/article/details/96995985
论文阅读笔记《Optimization as A Model for Few-shot Learning》
深视
05-04 3074
核心思想   本文提出一种采用元学习的方式解决小样本学习任务的方法。作者首先指出为什么普通的深度学习算法在小样本学习任务中表现不佳，他认为有两个方面的原因：第一，基于梯度的优化算法（如momentum，ADAM）不是为小样本学习任务设计的，其需要大量的样本经过数百万次迭代才能收敛到一个较好的结果；第二，对于每个单独的数据集，网络都需要从一个随机的初始化状态开始更新参数，这导致他无法在只经过几次迭代...
西工大自动控制原理ppt
03-19
西工大自动控制原理ppt.工大很牛的一个老师的课件，考试时候必备的资源之一。
西北工业大学自控考研试卷
01-11
西北工业大学自控考研试卷，包含一些年份的自控考研试卷。
西北工业大学自动控制原理
10-16
西北工业大学的卢老大的自动控制原理PPT，个人也一直再用
论文阅读问题总结(三)：Optimization as A Model for Few-Shot Learning
qq_32599109的博客
03-19 320
1.本文作者想要解决什么问题？如何解决？ 作者指出传统的深度学习的参数更新和优化方法在小样本学习问题上并不能够很好地work。这主要是因为 1：基于梯度的优化算法：Momentum、Adagrad、Adam并不适用于在梯度更新步长受限的场景，即它们都是为大数据多步迭代而设计的优化算法。小样本更新高维参数模型容易过拟合，所以梯度更新步长受限(另一个需要受限的原因是元学习的主要目标之一是可以快速学习)，不能遵循传统深度学习的Rountine在adaption过程多次更新参数。 基于上述问题作者提出了一种自动学习
Optimization as a model for few-shot learning||论文阅读
VIEO
04-15 3933
元学习论文总结||小样本学习论文总结 2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019 介绍：对Few-shot learning中的优化进行建模 本文通过将SGD更新规则解释为具有可训练参数的门控递归模型，描述了一种新的元学习...
论文分享（4）---- OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING)----元学习meta-lstm
qq_18838211的博客
05-03 1257
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 论文分享（4）---- OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING摘要一、问题定义二、Model1. 模型定义2. 模型参数共享和预处理3. 梯度更新简化总结 摘要 尽管深度学习在数据量充足的领域已经取得了很大的成功，但是它们很难在数据量匮乏的情况下发挥。这是因为现有的优化策略都是基于梯度进行更新，由于参数量的缘由，这种梯度更新的方式需要更多的step才能达到收敛。针对这一问题，作者提出了.
《OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING》解读
bysilen的博客
01-11 357
以下是对论文《OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING》解读和对应模型的构建（参考《Learning to learn by gradient descent by gradient descent 》） 该论文的核心目的：解决小样本学习的优化问题，使任务学习器即使在数据量不大的情况下也可以优化到较好的地步。 解决方法：使用基于LSTM网络的元学习器来进行优化。 核心问题：如何训练一个用于优化的元学习器。 所以对于这样问题，要明确： 任务：训练一个用于优化的
LSTM用于元学习-"Learning to learn by gradient descent by gradient descent"-笔记详解
migue_math
12-03 4043
Andrychowicz, Marcin, et al. “Learning to learn by gradient descent by gradient descent.” Advances in neural information processing systems. 2016. 文章目录1 简介2 如何对optimizee进行参数更新？3 如何对optimizer进行参数更新？4 实...
few-shot learning
最新发布
05-19
### Few-Shot Learning 的基本概念与实现技术 Few-shot learning 是一种旨在解决少量标注数据情况下的机器学习问题的技术。它的目标是在仅有少数样例的情况下快速适应新的任务或类别[^2]。这种学习范式受到生物启发，特别是模仿人类的学习能力——即使只有有限的例子也可以迅速掌握新概念。 #### Key Techniques in Few-Shot Learning ##### 1. **Meta-Learning** 元学习（meta-learning），也被称为“learning to learn”，是一种广泛应用于 few-shot 学习中的框架。其核心思想是从大量的相关任务中提取通用的知识，并利用这些知识加速对新任务的学习过程。例如，在图像分类领域，可以通过优化神经网络初始化参数使得模型能够在看到几个样本后就能很好地推广到未见过的类别上[^3]。 ```python # A simplified example of implementing MAML (Model-Agnostic Meta-Learning) class MAML: def __init__(self, model, inner_lr, meta_lr): self.model = model self.inner_optimizer = torch.optim.SGD(self.model.parameters(), lr=inner_lr) self.meta_optimizer = torch.optim.Adam(self.model.parameters(), lr=meta_lr) def train_step(self, support_set, query_set): fast_weights = list(map(lambda p: p.clone(), self.model.parameters())) # Inner loop adaptation using the support set for _ in range(num_inner_updates): preds_support = self.model(support_set['inputs'], weights=fast_weights) loss_support = F.cross_entropy(preds_support, support_set['labels']) grads = torch.autograd.grad(loss_support, fast_weights) fast_weights = [w - self.inner_lr * g for w, g in zip(fast_weights, grads)] # Evaluate performance on the query set with updated parameters preds_query = self.model(query_set['inputs'], weights=fast_weights) loss_query = F.cross_entropy(preds_query, query_set['labels']) # Update base learner's parameters based on query set results self.meta_optimizer.zero_grad() loss_query.backward() self.meta_optimizer.step() ``` ##### 2. **Metric-Based Methods** 度量方法通过构建有效的距离函数来比较输入实例之间的相似性，从而完成分类任务。Prototypical Networks 和 Matching Networks 都属于此类方法。它们的核心在于设计合适的嵌入空间，在这个空间里同类别的样本应该彼此靠近而异类远离。 - Prototypical Network 使用支持集中每个类别的平均向量作为原型代表整个类别。 ```python def compute_prototypes(embeddings, labels): prototypes = [] unique_labels = torch.unique(labels) for label in unique_labels: proto = embeddings[labels == label].mean(0) prototypes.append(proto) return torch.stack(prototypes) def predict PrototypeNetwork(query_embeddings, prototypes): distances = pairwise_distances(query_embeddings.unsqueeze(1), prototypes.unsqueeze(0)) predictions = (-distances).argmax(dim=-1) return predictions ``` ##### 3. **Optimization-Based Approaches** 这类方法主要依赖于调整标准深度学习架构使其更适合 small-data 场景。比如 Fine-Tuning 或者 Freeze-and-Finetune 策略可以直接应用预训练好的大型模型并通过微调最后几层适配特定的小型数据集。 --- ### Conclusion Few-shot learning represents an exciting area within artificial intelligence that mimics human ability to generalize from limited examples. By leveraging advanced techniques such as meta-learning, metric-based approaches, and optimization strategies, researchers continue pushing boundaries towards more efficient models capable of handling real-world challenges involving scarce labeled data scenarios.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值