Lion优化器试验笔记

已于 2023-07-31 05:48:54 修改
阅读量675 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 深度学习宝典 文章标签： 计算机视觉
于 2023-07-31 05:45:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jacke121/article/details/132014562
Lion优化器比AdamW和Adafactor更简单、内存高效，运行速度更快。它只需保存动量，降低内存占用，尤其适合大规模模型训练。在实验中，Lion的运行速度通常提高2-15%，并简化超参数设置。在人脸关键点和YOLOv8训练中，Lion展现出优于AdamW的性能，但数据量增大时需要注意学习率和衰减策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1 简单、内存高效、运行速度更快

超参设置

官方 pytorch代码：

自己的试验结果：

以下内置转自： Google Brain新提出的优化器“Lion”，效果要比Adam(W)更好 - 知乎

1 简单、内存高效、运行速度更快

与 AdamW 和各种自适应优化器需要同时保存一阶和二阶矩相比，Lion 只需要动量，将额外的内存占用减半。 这在训练大型模型和大Batch size时很有用。 例如，AdamW 需要至少 16 个 TPU V4 芯片来训练图像大小为 224、批量大小为 4,096 的 ViT-B/16，而 Lion 只需要8个。

另一个显而易见的好处是，由于 Lion 的简单性，Lion 在我们的实验中具有更快的运行时间（step/s），通常比 AdamW 和 Adafactor 提速 2-15%，具体取决于任务、代码库和硬件。

超参设置

  • Lion 很简单，与 AdamW 和 Adafact
了解本专栏 订阅专栏 解锁全文 超级会员免费看
YOLOv8 引入谷歌 Lion 优化器：提速、优化、卓越！
一直在水些技术小文
11-09 1156
Lion 优化器是谷歌公司最近提出的一种优化算法，它旨在提高深度学习模型的训练效率和性能。Lion 优化器基于均方误差和一种新型的梯度方向方法，能够更好地处理复杂的损失函数和训练数据，从而提高模型的泛化能力。
LSTM改进4：使用Lion训练模型，提高训练效果
最新发布
AIcurator的博客
05-03 77
Lion优化器（Layerwise-optimizer adaptive optimization method）是Google Brain团队提出的一种高效自适应优化算法，其核心设计灵感源于自然界中狮子的捕猎策略，通过动态调整各层参数的学习率来提升训练效率。与传统自适应优化器（如AdamW）不同，Lion仅需存储动量信息，将内存占用减少50%，尤其适合大规模模型训练（如ViT-B/16模型训练时显存需求从16芯片降至8芯片）。
机器学习笔记：优化器Lion（EvoLved Sign Momentum）
qq_40206371的博客
02-20 2433
2023 Google&UCLA 参考内容：Google新搜出的优化器Lion：效率与效果兼得的“训练狮”
涨点神器！超越Adam！谷歌提出Lion炼丹优化器，内存更小、效率更高！
阿木寺的博客
02-21 5190
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【计算机视觉】微信技术交流群转载自：机器之心 |编辑：杜伟、陈萍谷歌的 Lion 优化器将成为训练大模型或大批量的「福音」。优化器即优化算法，在神经网络训练中起着关键作用。近年来，研究者引入了大量的手工优化器，其中大部分是自适应优化器。Adam 以及 Adafactor 优化器仍然占据训练神经网络的主流，尤其在...
pytorch中使用Lion优化器
qq_45152711的博客
08-03 1476
🦁Lion，谷歌大脑在 Pytorch 中使用遗传算法发现的新优化器，据称比 Adam(w) 更好。
Google Brain新提出的优化器“Lion”，效果要比Adam(W)更好
zenRRan的博客
03-06 883
来自：ChallengeHub进NLP群—>加入NLP交流群Google Brain新提出的优化器“Lion”，效果要比Adam(W)更好论文地址：https://arxiv.org/abs/2302.06675代码地址：https://github.com/google/automl/blob/master/lion/lion_pytorch.py1简单、内存高效、运行速度更快与 Ada...
t420黑苹果驱动110买的 分享
08-28
标签中的“黑苹果 ml”可能指的是macOS Mountain Lion（山狮），这是苹果公司在2012年发布的一个操作系统版本。这意味着这套驱动程序可能是针对那个特定macOS版本优化的，可能无法完美适用于更早或更新的操作系统。 ...
【NLP】第15章 从 NLP 到与任务无关的 Transformer 模型
sikh_0529的博客
09-26 7167
到目前为止，我们已经检查了具有编码器和解码器层的原始 Transformer 模型的变体，并且我们探索了具有仅编码器或仅解码器层堆栈的其他模型。此外，层和参数的大小也增加了。然而，Transformer 的基本架构保留了其具有相同层的原始结构和注意力头计算的并行化。在本章中，我们将探索创新的 Transformer 模型，这些模型尊重原始 Transformer 的基本结构，但会做出一些重大改变。将出现许多变形金刚模型，就像一盒乐高©碎片提供的许多可能性一样。您可以通过数百种方式组装这些部件！
MATLAB算法实战应用案例精讲-【元启发式算法】随机蛙跳跃算法（SFLA）（补充篇）(附Python代码实现)
qq_36130719的博客
03-30 1026
基于对自然界各种动物群体行为进行研究，人们受其启发设计了各种仿生智能算法。这些算法原理简单，实现方便，在求解一些复杂的组合优化问题上表现出了良好的性能，其原理是通过多次迭代进化，最后得到一个问题的最优解或者逼近最优解[29][30]。通过对自然界中蚁群、鸟群、鱼群等生物的研究，蚁群算法[31]布谷鸟算法[32]、鲸鱼算法[33]等仿生智能算法应用而生。基于对青蛙觅食过程的研究，Eusuff[34]于2003年提出混合蛙跳算法算法结合了模因算法和粒子群优化算法。
Lion优化器与Yolov8
牛肉胡辣汤
11-22 734
Lion优化器是一种基于梯度的优化算法，旨在提高梯度下降法在深度学习中的优化效果。自适应学习率：Lion优化器能够自动调整学习率，根据每个参数的梯度情况来自适应地更新学习率。这使得模型能够更快地收敛，并且不易陷入局部最优点。动量加速：Lion优化器引入了动量概念，通过积累历史梯度的一部分来加速梯度更新。这样可以增加参数更新的稳定性，避免陷入震荡或振荡状态。参数分布均衡：Lion优化器通过分析模型参数的梯度分布情况，对梯度进行动态调整，以实现参数分布的均衡。
Pointnet++改进优化器系列：全网首发Lion优化器 |即插即用，实现有效涨点
AIcurator的博客
02-01 598
提出了一种将算法发现表述为程序搜索的方法，并将其应用于深度神经网络训练优化算法的发现。我们利用高效的搜索技术来探索无限和稀疏的程序空间。为了弥合代理任务和目标任务之间的巨大泛化差距，我们还引入了程序选择和简化策略。我们的方法发现了一个简单有效的优化算法，Lion(进化符号动量)。它比Adam更节省内存，因为它只跟踪动量。与自适应优化器不同，它的更新对于通过符号操作计算的每个参数具有相同的幅度。我们将Lion与广泛使用的优化器(如Adam和Adafactor)进行比较，以在不同任务上训练各种模型。
蚁狮优化器 Ant Lion Optimizer
01-02
蚁狮优化算法的MATLAB代码
【深度学习】Google Brain新提出的优化器“Lion”，效果要比Adam(W)更好
fengdu78的博客
02-26 2088
Google Brain新提出的优化器“Lion”，效果要比Adam(W)更好论文地址：https://arxiv.org/abs/2302.06675代码地址：https://github.com/google/automl/blob/master/lion/lion_pytorch.py1简单、内存高效、运行速度更快与 AdamW 和各种自适应优化器需要同时保存一阶和二阶矩相比，Lion 只...
RTDETR更换优化器——Lion
锁我喉是吧
06-27 887
参数分布均衡：Lion优化器通过分析模型参数的梯度分布情况，对梯度进行动态调整，以实现参数分布的均衡。这有助于避免某些参数过于稀疏或过于密集的问题，提高模型的泛化能力。自适应学习率：Lion优化器能够自动调整学习率，根据每个参数的梯度情况来自适应地更新学习率。动量加速：Lion优化器引入了动量概念，通过积累历史梯度的一部分来加速梯度更新。是一种基于梯度的优化算法，旨在提高梯度下降法在深度学习中的优化效果。将上述代码复制粘贴在ultralytics/engine下创建lion_pytorch.py文件。
【亲测】yoloV8添加Lion优化器
weixin_40950590的博客
10-24 1293
【亲测】yoloV8添加Lion优化器
YOLOv引入Google Lion优化器：计算机视觉中的新进展
IdfdFsharp的博客
09-22 253
传统的目标检测算法通常需要在图像上运行多次分类器或回归器，而YOLOv通过将图像分成不同的网格单元，并为每个单元预测边界框和类别概率，实现了端到端的目标检测。通过结合YOLOv和Google Lion优化器，我们可以期待更高效和准确的目标检测算法的出现，为计算机视觉领域的发展带来更多新的突破。Google Lion优化器通过自适应学习率调整策略，加速了YOLOv模型的训练过程并提高了模型的准确性。Google Lion优化器的自适应学习率调整策略可以帮助模型更好地适应不同参数的变化，并加速模型的收敛速度。
创新技术横空出世：探秘Yolov8/Yolov5引入的优化器Lion，内存更小、效率更高，秒杀Adam(W)
一直在水些技术小文
11-10 624
Lion是谷歌公司最新推出的一款优化器，它在梯度下降算法的基础上进行了巧妙的改进，旨在解决传统优化器在内存占用和计算效率方面的痛点。相比于传统优化器，Lion注重在大规模深度学习任务中的性能表现。Yolov8和Yolov5是目标检测领域最为知名的算法之一，以其高效的目标检测能力而受到广泛关注。近期，为了进一步提升模型性能，Yolov8和Yolov5纷纷引入Lion优化器，以期在内存占用和计算效率方面实现质的飞跃。
探索创新：Lion - Pytorch，优化器的新星！
gitblog_00086的博客
05-12 567
???? 探索创新：Lion - Pytorch，优化器的新星！ 在人工智能领域，优化器是训练模型的关键环节，其性能直接影响到模型的收敛速度和最终效果。近年来，Adam因其稳定性和高效性而备受青睐。然而，谷歌脑团队最近发布的狮身人面像（Lion）可能正在改变这一格局。今天，我们来一起探索这个由Pytorch实现的Lion优化器，并了解它的独特优势。 项目介绍 狮身人面像（Lion）是一种新发现的优化器...
涨点技巧： 谷歌强势推出优化器Lion，引入到Yolov5/Yolov7,内存更小、效率更高，秒杀Adam(W)
04-18 1770
Google 新提出的优化器 Lion引入到yolov5/yolov7，它通过大量算力搜索并结合人工干预得出，相比主流的 AdamW，有着速度更快且更省内存的特点，并且大量实验结果显示，它在多数任务上都有着不逊色于甚至优于 AdamW 的表现。
LIon优化器
03-19
### Lion Optimizer简介 Lion是一种新型的优化算法，在机器学习和深度学习框架中逐渐受到关注。它通过自适应调整参数更新的方式，旨在提高模型训练效率并减少内存消耗[^1]。 其核心思想在于利用动量项来加速收敛过程的同时引入一种新的权重衰减机制。这种机制能够更有效地控制过拟合现象的发生，并且相比传统的Adam或者RMSProp方法具有更快的计算速度以及更低的存储需求。 以下是实现lion optimizer的一个简单Python代码示例： ```python import torch class Lion(torch.optim.Optimizer): def __init__(self, params, lr=1e-4, betas=(0.9, 0.99), weight_decay=0.0): defaults = dict(lr=lr, betas=betas, weight_decay=weight_decay) super(Lion, self).__init__(params, defaults) @torch.no_grad() def step(self, closure=None): loss = None if closure is not None: with torch.enable_grad(): loss = closure() for group in self.param_groups: for p in filter(lambda p: p.grad is not None, group['params']): grad, state = p.grad.data, self.state[p] if 'step' not in state: state['step'] = 0 state['exp_avg'] = torch.zeros_like(p).detach() exp_avg = state['exp_avg'] beta1, beta2 = group['betas'] state['step'] += 1 # Update the moving average of gradient exp_avg.mul_(beta1).add_(grad.sign(), alpha=1 - beta1) update = exp_avg.abs().mul(group['lr']).sign() * exp_avg if group['weight_decay'] != 0: update.add_(p.data, alpha=group['weight_decay']) p.sub_(update) return loss ``` 上述代码定义了一个基本版本的Lion优化器类继承自PyTorch中的`Optimizer`基类。该实现包含了必要的超参数设置如学习率(`lr`)、贝塔系数(`betas`)及正则化强度(`weight_decay`)等功能选项。 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值