seeker的博客

元学习系列文章optimization based meta-learning《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》 论文翻译笔记元学习方向 optimization based meta learning 之 MAML论文详细解读MAML 源代码解释说明 (一)MAML 源代码解释说明 (二)元学习之《On First-Order Meta-Learning Algorithms》论文详细解读

前言此篇是 metric-based metalearning 的第一篇，所谓 metric-based 即通过某种度量方式来判断测试样本和训练集中的哪个样本最相似，进而把最相似样本的 label 作为测试样本的 label，总体思想有点类似于 KNN。Matching Network此篇论文的核心思想就是构造了一个端到端的最近邻分类器，并通过 meta-learning 的训练，可以使得该分类器在新的少样本任务上快速适应，并对该任务的测试样本进行预测。下图是 Matching Network 的网络

引言之前的博客都是通过随机梯度下降来更新网络模型参数，本篇博客别出心裁地使用 LSTM 来模拟梯度下降的更新过程，学习一种隐式更新规则实现参数更新。个人觉得创新度还是很高的。OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING背景基于梯度下降的深度学习模型取得了巨大成功，但是作者认为，梯度下降更新在被发明之初就是用于大规模数据的学习，在少量数据的情况下，梯度下降更新的方法会失效，主要有以下两个原因：各种基于梯度下降的优化算法，如 ADAM，Adagrad,

引言上一篇博客对论文 MAML 做了详细解读，MAML 是元学习方向 optimization based 的开篇之作，还有一篇和 MAML 很像的论文 On First-Order Meta-Learning Algorithms，该论文是大名鼎鼎的 OpenAI 的杰作，OpenAI 对 MAML 做了简化，但效果却优于 MAML，具体做了什么简化操作，请往下看????。On First-Order Meta-Learning Algorithms这篇论文的标题就很针对 MAML，MAML 中有一

此篇是对 MAML 源代码数据生成部分的解释说明，包含了如何构造论文中正弦函数回归任务的数据，以及如何对 omniglot 和 miniImagenet 图像数据进行处理。原始文件见 data_generator.py""" Code for loading data. """import numpy as npimport osimport randomimport tensorflow as tffrom tensorflow.python.platform import flagsf

前言此篇是对 MAML 源代码的解释，作者开源了论文代码，但是代码中注释很少，刚开始不容易理清思路，所以对代码中的关键部分进行了解释说明，核心是 construct_model() 函数，里面包含了 MAML 的训练过程，看代码实现能够更清楚地理解作者的思想。maml.pymaml.py""" Code for the MAML algorithm and network definitions. """from __future__ import print_functionimport nu

目前 meta-learning 的研究一共有三个方向：optimization basedmetric basedmodel based本篇要讲的论文是第一个方向，optimization based 中的开篇之作，《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》 简称 MAML引言上一篇博客中是对这篇论文的纯翻译，这次来讲解下这篇论文是怎么做 meta-learning 的，这篇论文是 2017 年.

此篇文章是对论文 Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks的纯翻译，英语水平有限，很多地方是直接翻译，有不对的地方还请大家指正。之后会出一篇详细的讲解版本，敬请期待。。。摘要这篇文章提出一个模型无关的元学习算法，该算法适用于任何一个可使用梯度下降更新训练的模型，并且可用于分类、回归、强化学习等场景。元学习的目标是在大量不同的任务上预先训练出一个模型，用这个模型可以在新任务的少量样本上进行训练。本文提出的方法中，.