MAML复现实验结果汇总（取最好的情形）

最新推荐文章于 2024-10-12 16:10:13 发布
原创 最新推荐文章于 2024-10-12 16:10:13 发布 · 2.9k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #计算机视觉 #深度学习 #机器学习 #pytorch

本文汇总了MAML在Omniglot和miniImageNet数据集上的复现实验结果，对比了原始论文与复现的精度差异，探讨了transductive Learning的影响。在5-way-1-shot和5-way-5-shot等场景下，复现结果接近原论文，但在20-way任务上存在差距。

2020/5/10更新：

Reptile这篇论文中说，MAML的实验使用到了transductive Learning的实验设定。关于transductive Learning你可以理解成MAML作者汇报的是训练中query集的结果，而不是我们通常意义的测试集中query集的结果。
这个图表来自Reptile的那篇论文。
在这里插入图片描述
以下是原文：

下面是我进行的复现实验的实验结果。

除了20-way-N-shot的部分，其他实验结果基本都能对应上。

附：
MAML模型无关的元学习代码完整复现（Pytorch版）
MAML复现全部细节和经验教训（Pytorch）

Omniglot数据集

5-way-1-shot

MAML： 98.7 ± 0.4 % 98.7 \pm 0.4\% 98.7±0

最低0.47元/天 解锁文章
MAML原理与代码实例讲解
AI天才研究院
05-25 704
MAML原理与代码实例讲解 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 元学习与少样本学习 机器学习的终极目标是让机器具备像人类一样学习的能力。近年来，深度学习的兴起使得机器学习在图像识别、语音识别、自然语言处理等领域
MAML复现全部细节和经验教训（Pytorch）
migue_math
04-14 1万+
我将在本文分享我复现maml时的经验和教训。
MAML模型无关的元学习代码完整复现（Pytorch版）
热门推荐
migue_math
03-01 2万+
1 引言 元学习是今年来新起的一种深度学习任务，它主要是想训练出具有强学习能力的神经网络。元学习领域一开始是一个小众的领域，之前很多年都没有很好的进展，直到Finn, C.在就读博士期间发表了一篇元学习的论文，也就是大名鼎鼎的MAML，它在回归，分类，强化学习三个任务上都达到了当时最好的性能。 我曾经在半年前发表过一篇MAML的学习笔记，博文地址点这里。 MAML出现之后算是掀起来了一波研究元学习...
元学习 模型 MAML pytorch 代码 复现 可直接运行
06-02
元学习 模型 MAML pytorch 代码 复现 可直接运行 元学习 模型 MAML pytorch 代码 复现 可直接运行
元学习入门详解（MAML算法及Reptile算法复现）
山里娃的博客
08-26 5761
元学习以及常用的元学习算法介绍
MAML方法论文
03-05
一篇介绍meta-learning方法的论文，发表于2017年，提出一种基于梯度的小样本学习方法
MAML-v1.ipynb
03-01
这个文件里时我复现的MAML，也就是模型无关的元学习方法的实验代码的复现，有需要的朋友可以下载下来参考一下。
Meta Learning技术 MAML
qq_41858347的博客
04-10 739
Learning to learn——Meta learning Meta Learning 最常被用来解决少样本（Few-Shot）的问题，在这边我们介绍一篇经典的论文 Model-Agnostic Meta-Learning（MAML)。由题目可知他是一种「与模型无关的」元学习，亦即这种方法可以匹配任何使用梯度下降算法（Gradient Descent）训练​​的模型，并能应用于各种不同的学习...
使用模型无关元学习（MAML）解决材料化学实验预测中的小样本问题
weixin_43819703的博客
01-10 1092
使用模型无关元学习（MAML）解决材料化学实验预测中的小样本问题 背景 本次实验只针对于金属化合物（例如MoS2）在化学反应中的催化能力。在同一物质中可掺杂不同元素化合物。例如：MoS2的4种不同的掺杂方式 简单来说对于同种物质的不同基底的掺杂方式每中化合物共有大约100条数据。因为元素之间的不同匹配，所以整个样本空间的数据规模还是十分庞大的。 但是，因为化学实验的特性，其中几种物质的所有数据都已...
MAML论文阅读笔记--回归实验
qq_49323609的博客
06-03 2163
MAML论文阅读笔记--回归实验 Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
小样本学习记录————MAML的改进MAML++
yunlong_G的博客
12-18 6033
本文是对论文How to train your maml论文的阅读体会，详细介绍了MAML中的问题和改进方法。
小样本学习数据集||Omniglot和miniImagenet||MAML算法测试
VIEO
11-12 2万+
元学习论文总结||小样本学习论文总结 2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019 小样本学习数据集 最近由于实验室项目原因开始研究小样本学习（few shot learning），看了一些论文，发现里面常用的测试数据集主要有...
MAML元学习算法(工程项目版)
m0_63642362的博客
06-21 900
论文复现赛，小样本学习，MAML元学习算法，多任务学习，omniglot数据集
MAML——模型无关元学习(reptile)(Meta Learning) & Pytorch实现
hxxjxw的博客
08-20 4330
MAML,Model-Agnostic Meta-Learning, 模型无关元学习
探索模型通用性：PyTorch中的MAML实现与超越
gitblog_00082的博客
06-09 394
探索模型通用性：PyTorch中的MAML实现与超越 去发现同类优质开源项目:https://gitcode.com/ 在这个数字时代，机器学习的进步正在推动我们走向新的技术高度。其中，模型通用性（Model-Agnostic Meta-Learning, 简称MAML）是一个重要的研究领域，它允许模型快速适应新任务，而无需大量数据。在这里，我们向您推荐一个精心设计的PyTorch实现——MAML...
MAML-Pytorch 项目教程
gitblog_00898的博客
08-08 870
MAML-Pytorch 是一个优雅的 PyTorch 实现，源自论文《Model-Agnostic Meta-Learning (MAML)》。该项目支持 MiniImagenet 和 Omniglot 数据集，旨在通过元学习方法使模型能够快速适应新任务，而无需大量数据。MAML 的核心思想是训练一个通用的初始化权重，该权重在少量数据上进行微调后即可在新任务上达到高准确率。 ## 项目快速启动...
元学习案例（学习如何学习）
Python领域优质萌新学习笔记
10-12 1624
因此，“元”在元学习中指的是一种高层次的学习过程，强调的是从多个任务中提取通用的知识和策略，以便在新任务上能够快速适应和表现良好。这种“超越”的概念使得元学习成为现代机器学习中一个重要的研究方向，特别是在面对样本稀缺或任务多样化的情况下。任务1：区分猫和狗任务2：区分汽车和自行车任务3：区分苹果和橙子我们希望模型可以通过元学习，在看到一个新任务（比如“区分熊猫和老虎”）时，仅使用少量数据（如每类1-5张图片）就能快速学会这个新任务。
探索元学习的边界：Reptile-Pytorch，一石多鸟的学习策略
gitblog_00031的博客
06-13 578
探索元学习的边界：Reptile-Pytorch，一石多鸟的学习策略 在机器学习领域，快速适应新任务的能力是当前研究的热点之一。而元学习，作为这一领域的明星概念，正日益受到关注。今天，我们来深入探讨一个基于PyTorch实现的元学习框架——Reptile-Pytorch，它巧妙地复现了OpenAI提出的“Reptile”算法，并在著名的 Omniglot 数据集上展现出了令人印象深刻的性能。 项目...
Meta Learning ——MAML代码
sinat_28375239的博客
09-02 1744
Meta Learning ——MAML
MAML
最新发布
03-08
### MAML（Model-Agnostic Meta-Learning）算法介绍 #### 定义与目标 MAML是一种元学习方法，旨在通过优化模型的初始参数设置，使该模型能够在面对新的任务时，只需少量的数据和几次梯度更新就能迅速适应并表现出良好的性能[^1]。 #### 关键思想 核心理念在于找到一组通用的初始化权重，这些权重能够帮助网络在遇到未曾见过的任务时快速调整自己。具体来说，就是让模型学会如何“学习”，即掌握一种机制来高效地利用有限的新数据进行自我改进[^3]。 #### 工作原理 为了实现上述目的，MAML采用了一种双层优化策略： - **内循环**：针对每一个特定任务\(T_i\)，基于一小批来自此任务的数据集\(\mathcal{D}_i^{train}\)，执行一次或多次标准的学习过程——计算损失函数并对当前模型参数θ应用反向传播以获得临时更新后的参数θ'。 - **外循环**：收集所有任务上的更新结果，并据此调整原始参数θ，目的是最小化各任务经由内循环产生的新参数θ'所对应的验证误差之和\[ \sum_{i} L_{val}(f_{\theta'_i}) \] 这种设计允许MAML有效地捕捉到不同任务之间的共通模式，从而促进跨领域迁移能力的发展[^2]。 ```python def maml_train_step(model, tasks): meta_loss = 0.0 for task in tasks: # 内循环: 对每个task单独训练 adapted_params = inner_loop_update(model.params, task.train_data) # 使用adapted params预测test data的表现 predictions = model.forward(task.test_data.x, adapted_params) loss = compute_loss(predictions, task.test_data.y) meta_loss += loss # 外循环: 更新全局model parameters outer_loop_update(model.params, meta_loss / len(tasks)) return updated_model_params ``` ### 应用场景 MAML因其灵活性而广泛适用于多个领域，包括但不限于图像识别、自然语言处理以及强化学习等。特别是在那些标注成本高昂或是难以获取大量标记样本的情况下尤为有用。例如，在医疗影像分析中，可能只有少数病人的扫描图可用于某类罕见病症的研究；又或者是机器人操作环境中，每次实验都伴随着较高的时间和资源消耗，此时借助像MAML这样的技术就显得尤为重要了。
评论 19
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值