MAML:Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

本文介绍了MAML(模型无关的模型)元学习算法,旨在训练模型,使其能用少量样本在新任务上快速泛化。通过优化模型的初始参数,使模型经过少量梯度更新后在新任务上表现出色。MAML适用于分类、回归等多种任务,通过最大化参数对新任务损失函数的敏感度来实现快速适应。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

元学习的目标是在各种学习任务上训练一个可以仅仅使用少量训练样本就可以解决新任务的模型,在本文中,模型的参数训练很明确,所以从新任务的少量样本做几步梯度下降就可以在新任务上得到好的泛化性。同时,由于模型可应用于一系列使用梯度下降训练的模型,包括分类,回归,强化学习等等,所以也叫作模型无关的模型。
本文的关键思想在于训练模型的初始参数,使得模型的参数在某个新任务上仅适用少量样本经过一步或者几步梯度下降更新后就可以早新任务上有很好的表现。从特征学习的角度来看,这是一个建立适应多种任务的内部特征表达的过程,使得其可以更容易,更快速的fine-tune;从动态系统的角度来看,学习过程可以被看做是最大化loss function对于和新任务有关的参数的敏感度,当敏感度高时,参数的小的局部改变可以使loss得到巨大的提高。

模型

任务设定

考虑一个模型,用f\mathcal{f}f表示,将观察值x映射到输出a上。在元学习过程中,模型被训练以适应于大量或无限的任务。任务可以形式化地定义如下,
T={ L(x1,a1,...,xH,ah),q(x1),q(xt+1∣xt,at),H} \mathcal{T} = \{\mathcal{L}(x_1,a_1,...,x_H,a_h),q(x_1),q(x_{t+1}|x_t,a_t),H\} T={ L(x1,a1,...,xH,ah),q(x1),q(xt+1xt,at),H}
由损失函数L\mathcal{L}L,基于初始观察值的分布q(x1)q(x_1)q(x

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值