Adam-mini: Use Fewer Learning Rates To Gain More

最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量269 收藏
点赞数 5
CC 4.0 BY-SA版权
分类专栏： LLM Daily 文章标签： 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/142612296

本文是LLM系列文章，针对《Adam-mini: Use Fewer Learning Rates To Gain More》的翻译。

Adam-mini：使用更少的学习率来获得更多

摘要

我们提出了Adam mini，这是一种优化器，其性能与AdamW相当或更好，内存占用减少了45%至50%。Adam mini通过减少Adam中的学习率资源（即 1 / v 1/\sqrt v 1/v

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Adam-mini：内存占用减半，性能更优的深度学习优化器
deephub
08-01 4494
Adam-mini基于Hessian矩阵的结构，将模型参数划分为多个块，每个块使用单一的平均学习率，从而大幅减少了需要存储的学习率数量。在非LLM任务中的实验结果进一步验证了Adam-mini的广泛适用性。Adam-mini不仅在内存占用和计算效率方面具有优势，还能在多种任务中保持或提升模型性能，是一个有效且高效的优化器。
2024年6月25日Arxiv机器学习相关论文
数智笔记
06-25 1510
原标题作者机构: 德·格鲁伊特期刊摘要: 数学模型对计量学领域至关重要，对测量结果的推导和从测量数据中计算不确定性起着关键作用，这些都是基于对测量过程的理解。这些模型通常表示被测量数量与所有其他相关数量之间的相关性。这些关系用于构建测量系统，能够解释测量数据以生成关于测量系统本身的结论和预测。经典模型通常是基于基本物理原理的分析模型。然而，数字技术的兴起、广泛的传感器网络和高性能计算硬件导致了向数据驱动方法的转变。
常见深度学习优化器 BGD、SGD、MBGD及Adam 对比总结
日常学习与专研的记录
03-04 2346
本文介绍深度学习常见的优化器：BGD、SGD、MBGD以及Adam
大模型微调j技术：GaLore、BAdam、Adam-mini、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ、PiSSA的介绍
全世界的博客
09-12 2463
如果您使用自定义数据集，请确保更新文件，以确保 LLaMAFactory 能够正确识别和加载您的数据集。LLaMA-Factory 项目通过支持多种模型、集成方法和精度，以及提供详细的软硬件依赖信息，为用户提供了一个强大且灵活的微调平台。无论是进行传统的语言模型微调，还是进行多模态模型的复杂任务，LLaMA-Factory 都能够满足用户的需求，帮助用户在不同的应用场景中取得优异的性能。## 使用案例与社区贡献。
传神论文中心｜第15期人工智能领域论文推荐
OpenCSG的博客
07-02 1011
传神论文中心｜第15期人工智能领域论文推荐
Adam有了mini版：内存占用少一半，吞吐量提升50%
Paper weekly
07-07 255
©作者 |panda来源|机器之心在训练大型语言模型（LLM）时，Adam(W) 基本上已经成为了人们默认使用的优化器。Adam 尽管性能优异，但使用成本很高。具体来说，Adam 需要内存来保存其优化器状态：一阶动量 m 和二阶动量 v^2。这总共需要模型大小至少 2 倍的内存。这样的内存消耗已经成为了 LLM 训练的一大主要负担。举个例子，要训练一个 7B 模型，只是 Adam 就需要每张...
1.6K+ Star！Ichigo：一个开源的实时语音AI项目
ymm_ohh的博客
11-07 1799
Ichigo[1]是一个开放的、持续进行的研究项目，目标是将基于文本的大型语言模型（LLM）扩展，使其具备原生的“听力”能力。可以将其视为一个开放数据、开放权重、设备上的 Siri。该项目采用了早期融合技术，灵感来源于Meta的Chameleon论文。
对抗样本方向（Adversarial Examples）2018-2020年最新论文调研
热门推荐
huitailangyz的博客
06-15 1万+
调研范围 2018NIPS、2019NIPS、2018ECCV、2019ICCV、2019CVPR、2020CVPR、2019ICML、2019ICLR、2020ICLR 2018NIPS Contamination Attacks and Mitigation in Multi-Party Machine Learning（防御） 作者：Jamie Hayes(Univeristy College London) Olga Ohrimenko(Microsoft Research) 摘要：Machine
END-TO-END OPTIMIZED IMAGE COMPRESSION论文阅读
Aure219的博客
07-04 3301
我们描述了一种图像压缩方法，包括非线性分析变换、均匀量化器和非线性合成变换。这些变换是在卷积线性滤波器和非线性激活函数的三个连续阶段中构造的。与大多数卷积神经网络不同，受用于模拟生物神经元的网络的启发，选择联合非线性来实现一种局部增益控制形式。使用随机梯度下降的变体，我们在训练图像数据库上联合优化整个模型的率失真性能，引入量化器产生的不连续损失函数的连续代理。在某些条件下，松弛损失函数可以解释为由变分自动编码器实现的生成模型的对数似然。
调试和优化大型深度学习模型 - 0 技术介绍
二分掌柜的
08-14 1266
flyfish
深度学习入门——Mini-batch、Momentum与Adam算法
yasNing
03-15 2793
基于不同优化算法更新神经网络中的参数 学习记录自：deeplearning.ai-andrewNG-master 一、 优化算法概述 1.1 常用优化算法 在机器学习或深度学习中，一般采取梯度下降对参数进行优化更新，本文主要讨论Mini-Batch算法、Momentum算法、RMSprop以及Adam算法。 1.2 为什么要改进梯度下降 对于一个数据量适中的数据集而言，可以直接利用梯度下降或者随机梯度下降(Stochastic Gradient Descent)。此时在整个训练集进行梯度下降优化不会消耗
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 212
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 333
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 545
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 202
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1766
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 483
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 227
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
【字节跳动 AI 原生 IDE TRAE 】
youngerwang的博客
11-22 690
字节跳动推出的AI原生IDE TRAE是国内首款协作级AI开发工具，采用"交互层-智能层-协议层-生态层"四层架构，支持SOLO智能自主开发模式和多模态交互。核心功能包括：1）SOLO模式支持需求分析、工具调度和全流程自动化开发；2）双模式交互系统兼顾精细控制和快速原型开发；3）多模态交互支持语音、图像和代码片段输入；4）开放的智能体生态系统。TRAE深度融合大模型能力，在前后端开发中展现出高效代码生成和自动化能力，并通过MCP协议实现安全工具调用。产品迭代迅速，216天发布63个版本，
DeepSeek-V3: A Strong Mixture-of-Experts Language Model
02-01
- **参数效率(Parameter Efficiency)**: 只有少部分活跃状态下的专家参与前向传播流程，从而减少了整体训练所需的内存占用量以及浮点运算次数[Fewer FLOPs per token processed compared to dense models]. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值