元学习（Meta Learning）中的数学推导（梯度下降公式推导）

最新推荐文章于 2025-09-20 10:01:35 发布
原创 最新推荐文章于 2025-09-20 10:01:35 发布 · 1.7k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #meta-learning

本文详细解析了李宏毅教授关于元学习的视频内容，重点介绍了MAML（Model-Agnostic Meta-Learning）的参数更新公式。首先，阐述了MAML寻找最优初始参数的目标，接着解释了损失函数的构成，并讨论了每个任务参数的一次性更新。在推导过程中，将梯度表示为对所有任务损失函数的梯度期望，探讨了其数学表达式，深入理解元学习的核心机制。

文中元学习（Meta Learning）是学习了李宏毅教授的视频https://www.bilibili.com/video/BV1w4411872t?from=search&seid=1873861796790113250（关于文中的公式推导，实际上是MAML的公式推导）

  1. 参数更新公式：
    在这里插入图片描述
    其中第一个公式为MAML中初始参数的更新，也就是MAML想要做的，找到一个较好的初始参数。
    第二个公式为MAML的损失函数，是所有task损失函数的和。
    第三个公式为每一个task的初始参数更新，MAML中限制只更新一次。

  2. 提出问题：
    根据参数更新的第一，二两个公式，可以将公式一中的梯度写成如下：

在这里插入图片描述
此时，有一个问题，梯度是
在这里插入图片描述
那么在这里插入图片描述

  1. 公式推导

最低0.47元/天 解锁文章
元学习Meta Learning原理与代码实例讲解
AI天才研究院
10-02 1201
元学习Meta Learning原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词： 元学习，迁移学习，适应学习，强化学习，深度学习，机器学习
元学习(MetaLearning) 原理与代码实例讲解
AI天才研究院
06-22 709
在人工智能和机器学习领域,我们经常面临这样一个挑战:如何让模型在面对新任务时能够快速学习和适应,而不需要大量的训练数据和计算资源。传统的机器学习方法通常需要大量的标注数据和长时间的训练过程,这在许多实际应用场景中是不切实际的。元学习(Meta-Learning)作为一种新兴的机器学习范式,旨在解决这一问题。它的核心思想是"学会如何学习",即通过在多个相关任务上进行学习,来获得对新任务的快速适应能力。元学习的目标是训练出一个模型,使其能够在仅见到少量样本的情况下,快速适应并解决新的任务。
元学习（Meta-Learning）揭秘：让模型学会“举一反三“的MAML算法详解
最新发布
AladdinEdu，你的AI学习实践工作坊。让想法落地，让研究加速。助力高校AI人才成长，点亮创新未来。
09-20 530
元学习，又称"学会学习"，是机器学习中的一个新兴领域，其目标是训练模型能够快速适应新任务。与传统机器学习不同，元学习关注的是如何在多个相关任务上学习，使得模型在面对新任务时只需少量样本和更新步骤就能达到良好性能。 在众多元学习算法中，模型无关的元学习（Model-Agnostic Meta-Learning, MAML）由Chelsea Finn等人在2017年提出，因其简洁性和有效性成为了最受欢迎的元学习算法之一。本文将深入解析MAML算法的原理，并展示其在少样本图像分类任务上的实战应用。
【元学习】reptile数学推导
devil_son1234的博客
04-13 776
文章提供两个有关 reptile 工作过程的解释： leading order expansion of the update 这部分我们会使用泰勒展开去近似 reptile 和 MAML 的更新过程。接下来我们将会看到两种算法都包括同样的两个组成部分：第一项负责最小化期望损失，第二项负责最大化任务内的泛化，具体来讲就是如果来自不同 batch 的梯度的点积为正值，那么在这个 batch 的表现提高同样也会提高另一个 batch 的表现，否则一个提高一个下降最后的结果就会为负，这样就变相的相当于是提高了针
元学习—模型不可知元学习(MAML）
hei653779919的博客
10-16 6934
元学习—模型不可知元学习(MAML) 在之前的文章中，我们介绍了神经图灵机和记忆增强网络(MANN)，主要介绍了其对于内存中信息的读取与写入。有兴趣的读者可以参考我之前的博客元学习—神经图灵机。在今天的文章中，我们来介绍一种更加常见的元学习的学习方法，即模型不可知元学习。 1. MAML原理 1.1 MAML引入 MAML是一种最近被提出的，最为主流的一种元学习的方法。其是元学习上的一个重大突破。在元学习中，众所周知，其目标是学会学习。在元学习中，我们从大量的相关学习任务中获取一小部分的样本点，然后通过元学
【李宏毅】元学习（Meta learning）的概念与步骤
niexinyu0026的博客
10-20 4808
只讲了元学习概念和步骤，简单做了解，稍微复杂一点的都没讲
《Python元学习》通过梯度下降来学习如何通过梯度下降来学习
monteCarloStyle的博客
07-23 485
文章目录@[toc]元学习的目的不同类型的元学习通过梯度下降来学习如何通过梯度下降来学习以RNN代替原网络的优化器网络的一般优化过程RNN如何学习优化器行为如何定义LSTM优化器自身的参数 元学习的目的 模拟人类自主学习的过程，学习“如何去学习”，传统神经网络是“为任务目标而学习”。 不同类型的元学习 学习如何利用数据的相似性帮助学习——学习度量空间 充分利用相关数据，更适合于少样本的学习环境 学习初始化——学习如何初始化原网络的参数 试图使原网络更快收敛 学习优化器——学习如何优化原网络
元学习方法介绍
喜欢打酱油的老鸟
03-02 996
2020-01-25 22:57:55 人工智能的一个基本问题是它无法像人类一样高效地学习。许多深度学习分类器显示了超人的表现，但需要数百万个训练样本。知识不共享，并且每个任务都独立于其他任务进行训练。在本文中，我们将该研究问题，然后检查一些建议的解决方案。 问题 与人类相比，大多数最先进的深度学习方法都有两个关键的弱点： 样本效率：深度学习的样本效率很差。例如，为了识别数字，...
元学习 (Meta Learning) 原理与代码实例讲解
AI天才研究院
06-28 742
元学习 (Meta Learning) 原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：元学习，快速适应能力，迁移学习，神经网络优化，机器智能进化 1. 背景介绍
Python 元学习实用指南：1~5
龙哥盟
04-16 1615
原文：Hands-On Meta Learning with Python 协议：CC BY-NC-SA 4.0 译者：飞龙 本文来自【ApacheCN 深度学习 译文集】，采用译后编辑（MTPE）流程来尽可能提升效率。 不要担心自己的形象，只关心如何实现目标。——《原则》，生活原则 2.3.c 一、元学习导论 元学习是当前人工智能领域最有前途和趋势的研究领域之一。 它被认为是获得广义人工智能（AGI）的垫脚石。 在本章中，我们将了解什么是元学习以及为什么元学习是当前人工智能中最令人振奋的研究。 我们将
Model-Agnostic Meta-Learning （MAML）模型介绍及算法详解
chen695539389的博客
07-23 1875
在学习联邦学习过程中，有涉及到MAML的内容，这里将学习资料做转载 原文地址添加链接描述 MAML在学术界已经是非常重要的模型了，论文Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks自2017年发表至今已经收获了400+的引用。由于当前网上关于MAML的中文介绍少之又少，可能很多小伙伴对其还不是特别理解。所以今天我整理了这段时间来的学习心得，与大家分享自己对MAML的认识与理解。MAML可以用于Supervised Regre
通俗讲解元学习（Meta-Learning）
热门推荐
AI研究院
06-11 2万+
元学习通俗的来说，就是，有时候掌握学习的方法比刻苦学习更重要！下面我们进行详细讲解。
Python 元学习实用指南：6~10
龙哥盟
04-16 664
原文：Hands-On Meta Learning with Python 协议：CC BY-NC-SA 4.0 译者：飞龙 本文来自【ApacheCN 深度学习 译文集】，采用译后编辑（MTPE）流程来尽可能提升效率。 不要担心自己的形象，只关心如何实现目标。——《原则》，生活原则 2.3.c 六、MAML 及其变体 在上一章中，我们了解了神经图灵机（NTM）以及它如何存储和从内存中检索信息。 我们还了解了称为记忆增强神经网络的 NTM 变体，该变体广泛用于单样本学习中。 在本章中，我们将学习一种有趣
深度学习应用篇-元学习[13]：元学习概念、学习期、工作原理、模型分类等
丨汀、的博客
06-14 3539
元学习 (Meta-Learning) 通常被理解为“学会学习 (Learning-to-Learn)”，指的是在多个学习阶段改进学习算法的过程。在基础学习过程中，内部（或下层/基础）学习算法解决由数据集和目标定义的任务。在元学习过程中，外部（或上层/元）算法更新内部学习算法，使其学习的模型改进外部目标。因此，元学习的核心想法是学习一个先验知识 (prior)。
元学习Meta learning深入理解（全）
张伟的专栏
01-18 1064
然后计算θ^和主任务的参数ϕ的差向量，作为更新ϕ 的方向。假设模型参数的 ϕ 和 θ 向量都是一维的，model pre-training的初衷是寻找一个从一开始就让所有任务的损失之和处于最小状态 ϕ ，它并不保证所有任务都能训练到最好的 θn^，如上图7所示， 即收敛到局部最优。假设有两个任务，Task1和Task2，通过训练任务1，得到任务1的损失函数 l1 ，通过训练任务2，得到任务2的损失函数 l2 ，然后将这两个任务的损失函数相加，得到整个训练任务的损失函数，即图4右上角的公式。
【DL】第 10 章： 元学习
sikh_0529的博客
10-09 2397
在第 9 章，新兴的神经网络设计中，我们介绍了新的神经网络( NN ) 架构来解决现有深度学习( DL ) 算法的一些限制。我们讨论了用于处理结构化数据的图形神经网络，以图形表示。我们还介绍了记忆增强神经网络，它允许网络使用外部记忆。在本章中，我们将研究如何通过使 DL 算法能够使用更少的训练样本来学习更多信息来改进 DL 算法。让我们用一个例子来说明这个问题。想象一个人从未见过某种类型的物体，比如汽车（我知道——极不可能）。他们只需要看到一辆车就可以识别其他汽车。但 DL 算法并非如此。DNN 需要大量训
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值