元学习：从MAML到Reptile公式推导

最新推荐文章于 2025-11-26 21:22:25 发布
原创 最新推荐文章于 2025-11-26 21:22:25 发布 · 166 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #小样本学习 #元学习

        本文展示了元学习中从MAML到一阶MAML再到Reptile的公式推导。其实有些步骤并不是很确定，放出来大家一起探讨。

        由于公式太多，本博文是在word里编辑好，转换为图片再上传的。

8.7 Meta learning元学习全面理解、MAML、Reptile
炫云云
06-19 1224
文章目录1、介绍few-shot learningreinforcement learning概念Meta learning 三个步骤定义一组learning algorithm损失函数寻找最好的FMeta Learning实例：OmniglotN-way K-shotMAML目标函数MAML vs transfer learningtaskMAML的训练MAML Toy Example算法梯度数学推导真正的实现MAML 应用：TranslationReptile梯度更新过程训练过程More about M
一切皆是映射：从零基础到掌握元学习算法
AI天才研究院
09-26 1121
一切皆是映射：从零基础到掌握元学习算法 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词： 元学习，映射学习，迁移学习，机器学习，深度学习，算法原理，实践应用 1
【元学习】reptile数学推导
devil_son1234的博客
04-13 763
文章提供两个有关 reptile 工作过程的解释： leading order expansion of the update 这部分我们会使用泰勒展开去近似 reptile 和 MAML 的更新过程。接下来我们将会看到两种算法都包括同样的两个组成部分：第一项负责最小化期望损失，第二项负责最大化任务内的泛化，具体来讲就是如果来自不同 batch 的梯度的点积为正值，那么在这个 batch 的表现提高同样也会提高另一个 batch 的表现，否则一个提高一个下降最后的结果就会为负，这样就变相的相当于是提高了针
深入浅出元学习-拆解MAML和Reptile算法「Meta-learning」「AI核心算法」
九三智能控
11-26 3380
关注：决策智能与机器学习，深耕AI脱水干货作者：郑思座来源：知乎专栏地址：https://www.zhihu.com/column/c_1068928500529958912转载请联...
元学习系列（八）：Reptile
jesseyule的博客
01-02 2741
MAML主要就是学习一个网络的初始化参数，这个参数对梯度是敏感的，使得它在针对特定任务进行fine tuning时，只需要少数几次的训练就能达到较好的效果。 一般来说，我们可以用公式表示meta learning： minimize Eτ(Lτ(Uτk(ϕ)))minimize \ E_{\tau}(L_{\tau} (U_{\tau}^k(\phi)))minimize E...
元强化学习：加速智能体学习效率
AI天才研究院
05-24 860
元强化学习：加速智能体学习效率 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 强化学习面临的挑战 强化学习（Reinforcement Learning, RL）作为机器学习的一个重要分支，近年来取得了令人瞩目的成就
基于梯度的元学习算法:MAML
AI天才研究院
04-14 567
基于梯度的元学习算法:MAML 1. 背景介绍 机器学习领域近年来出现了一种新的范式——元学习(Meta-Learning)。元学习的核心思想是通过学习如何学习，让模型能够快速适应新的任务。相比于传统的机器学习方法，元学习能够以更少的样本和计算资源获得更好的效果。其中，基于梯度的元学习算法MA
Meta-RL之Reptile算法
Ton的博客
09-25 7613
Reptile算法和MAML一样，是Meta-Learning在学习一种初始化参数上的算法。MAML有二阶和简化版本——一阶FOMAML(First-order MAML)2种形式，而Reptile类似于FOMAML，是一种新型的一阶Gradient-Based 元学习算法。从实现上来看，Reptile比FOMAML还要简单，并且实验结果和FOMAML、MAML相差无几。 Reptile是一篇2018年的论文，作者是Nichol，发布时间在MAML之后。 参考列表： ①Reptile原论文(On First
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 272
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 748
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
2501_92808811的博客
11-25 465
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
信息检索13
2301_80828873的博客
11-26 927
最近邻检索的方法，PQ，IVF,HNSW
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 692
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
【LoRA（低秩适应）技术详解：原理、公式与实践】
m0_46882548的博客
11-26 705
参数高效：可训练参数量通常仅为全量微调的0.01% - 3%，极大降低了计算和存储成本。内存友好：由于大部分原始权重被冻结，无需存储其优化器状态，显著减少了训练时的显存占用。无推理延迟：训练后可将LoRA权重合并回原模型，推理速度与原始模型一致。模块化与灵活性：一个基础模型可以搭配多个针对不同任务的、体积很小（几兆字节）的LoRA适配器，轻松切换任务。减轻灾难性遗忘：因为原始权重基本不动，模型在适应新任务时更不容易遗忘预训练时获得的通用知识。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 394
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
强化学习人形机器人奖励函数分析
ModestCoder_的博客
11-23 1056
PPO (Proximal Policy Optimization) 是一种 Actor-Critic 架构算法。奖励函数是整个学习过程的指挥棒。学习预测未来的累积回报（Return）。用于处理物理限制的软约束，形式通常为单边损失（Hinge Loss）。，作为 Cost/Penalty 使用，用于约束能量和保持稳定。以下是代码中各个奖励项的数学表达及其物理含义分析。形式，旨在最大化机器人对指令的跟随精度。这种设计是现代机器人控制领域的标准范式。形式，在总奖励计算中通常会被赋予。
教你使用服务器搭建一款一款端到端的开源 OCR 模型GOT-OCR2.0
m0_69484557的博客
11-25 281
GOT-OCR2.0 是一款真正专业级、可落地的端到端开源 OCR 模型，它让文档识别变得更智能、更精准、更高效。当你将它部署在莱卡云服务器上后，就拥有：一个稳定的 OCR 服务平台一个云端智能识别中心一个支持批量处理的高效工具一个可扩展的文档自动化系统。
分布式AI训练框架设计与多语言实现实践指南
最新发布
2501_94187056的博客
11-26 282
加速训练：多节点协作处理大规模数据和模型参数。资源优化：充分利用GPU/TPU和计算集群资源。可扩展性：可根据数据规模或模型复杂度扩展计算节点。多语言协作：不同模块可使用适合的语言实现，提高灵活性和性能。本文展示了分布式AI训练框架的设计与多语言实现实践：Python负责训练与分布式管理Go负责任务调度与节点管理Java处理异步参数同步C++完成计算密集型梯度计算架构整合多节点资源，实现高效分布式训练。
《AI智脉速递》2025 年 11月7日 - 11月23日
mao_feng的博客
11-23 521
蚂蚁集团推出的全模态 AI 助手 “灵光” 上线 4 天下载量突破 100 万，较 ChatGPT、Sora2 更快达成百万用户里程碑，登顶 App Store 工具榜第一。该项目由日本八大巨头联合推动，旨在打破台积电、三星垄断，为全球 AI 大模型提供先进算力硬件支撑。AI 数据中心的超高能耗推动储能系统从 “可选” 变 “必备”，相关市场需求呈爆发式增长，英伟达黄仁勋称能源成本将重塑 AI 竞争格局。华谊兄弟启动 “H・AI 火种计划”，将 AI 与 CG 技术、真人实拍结合，批量制作影视内容。
MAML元学习入门：原理与PyTorch代码实现
Agnostic Meta-Learning》（简称MAML）为核心切入点，系统地阐述了元学习的基本理论框架、MAML算法的核心机制及其在小样本学习场景下的实际应用，并结合PyTorch代码实现，深入剖析了该方法从理论到工程落地的完整...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值