new optimization

最新推荐文章于 2023-08-01 01:36:17 发布
原创 最新推荐文章于 2023-08-01 01:36:17 发布 · 306 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了深度学习中常用的五种优化器：SGD、带有动量的SGD、Adagrad、RMSProp及Adam，并对比了它们在训练过程中的表现。其中详细解释了Adam如何动态调整学习率以加速收敛，以及SGDM在不同场景下的优势。

new optimizer for deep learning

1、SGD

2、SGD with momentum

前一步的累积会移动到下一步当中，就算达到鞍点和局部最低点，带有动量的SGD还是会继续前行，下一步的movement等于： -u*梯度+v*动量

3、Adagrad

即在梯度方向乘了一个数，如果过去的梯度很大，就要降低学习率，因为梯度很大，说明在一个很崎岖的路上寻找全局最低，比如上面图的绿色方向，梯度比较大，所以需要用一个比较小的学习率

4、RMSProp

原理和Adagrad很像，同时借用了Momentum的思想;Adagrad的分母是不断累加的，加入一开始就很大，导致后面学习率特别小，而RMSprop在时间上有缓冲，上式中的vt表示的就是EMA （exponential moving  average）of gradient is not monotonically increasing 不会永无止尽的增加。

5、Adam

之前的算法无法解决初始化的梯度就为0 的情况

example:BERT\ Transformer

 

Adam:在训练集上达到很好成绩，SGD+momentum在验证集有很好的成绩

原因：其中一个原因是Adam能够在比较sharp 的地方找到minimum，相反SGDM在flat的地方找到

ADAM因为能够动态地调整学习率，所以收敛速度很快，而SGDM没有这样的效果

 

 

 

SWATS：先使用Adam（比较快），再使用SGDM

问题1：什么时候切换

问题2：学习率怎么改变

 

Adam有个trouble，当训练的开始阶段，梯度会很小而且没有什么信息，这时候梯度就是漫无目的的走，但是当梯度很大的时候，因为有之前的影响，导致movement不会很大，最大也只会是\sqrt{\frac{1}{1-\beta _{2}}}\eta，作者的改进方法是AMSGrad,AMSGrad中的V在现在的V和上一次的V中选最大值，减小了无意义的梯度（Adam梯度小，但是学习率大）影响。

 

AdaBound是对学习率设置边界，有 上界和下界，相比较于AMSGrad，即能处理很大的学习率，又能处理小学习率

ADAM：因为能够动态地调整学习率，所以收敛速度很快，而SGDM没有这样的效果，因此可以从SGDM进行调整

 

LR range：不断调整学习率来寻找最好的学习率

不断地调大调小学习率，另外两种方法：

 

 

【学习笔记-李宏毅】New Optimization
iioSnail的博客
03-20 2459
视频链接 视频：https://www.youtube.com/watch?v=4pUmZ8hXlHM PPT：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML2020/Optimization.pdf 本次课程会用到的符号（Notation） θt\theta_tθt​：第 ttt 步时，模型的参数 ΔL(θt)\Delta L(\theta_t)ΔL(θt​) 或 gtg_tgt​ ：模型参数为 θt\theta_tθt​ 时，对应的梯度，用于计算 θt+1
【论文阅读】Gradient Centralization: A New Optimization Technique for Deep Neural Networks
闻韶
04-12 1868
香港理工&阿里达摩院新作，操作优雅，一行代码嵌入优化器提升性能！ ArXiv 链接：https://arxiv.org/abs/2004.01461 Github 链接：https://github.com/Yonghongwei/Gradient-Centralization 一、摘要 优化技术对有效地训练深度神经网络 (DNN) 而言具有重要意义。结果表明，利用一阶...
台大李宏毅课程笔记3——New Optimization for Deep Learning深度学习新优化
专业技能学习笔记本
08-05 778
台大李宏毅课程笔记3SGD with Momentum（SGDM）RMSPropAdamSWATS 本次笔记主要包含两节课： https://www.bilibili.com/video/BV1JE411g7XF?p=8 https://www.bilibili.com/video/BV1JE411g7XF?p=9 SGD with Momentum（SGDM） SGDM通俗的讲就是在本次计算的偏导和learningrate的基础上，加上上一次的运动长度，也就是保持原来的运动趋势。 下面两个图是对比SGDM
New Optimization
weixin_62728271的博客
01-27 339
一、Adam与SGDM Adam：fast training, large generalization gap, unstable • SGDM：stable, little generalization gap, better convergence(?) 二、Simply combine Adam with SGDM SWATS [Keskar, et al., arXiv’17] Begin with Adam(fast), end with SGDM Start training Ad..
机器学习-New Optimization
weixin_61765266的博客
08-01 1420
学习资料。
《On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima》-ICLR2017文章阅读
zhangboshen的博客
06-03 5933
这篇文章探究了深度学习中一个普遍存在的问题——使用大的batchsize训练网络会导致网络的泛化性能下降（文中称之为Generalization Gap）。文中给出了Generalization Gap现象的解释：大的batchsize训练使得目标函数倾向于收敛到sharp minima（类似于local minima），sharp minima导致了网络的泛化性能下降，同时文中给出了直观的数据支持。
[论文评析]Gradient Centralization: A New Optimization Technique for Deep Neural Networks, ECCV, 2020
MasterQKK
09-24 393
Gradient Centralization: A New Optimization Technique for Deep Neural Networks, ECCV,2020 GC, Batch Normalization (BN), Weights standardization (WS)
Gradient Centralization: A New Optimization Technique for Deep Neural Networks（讲解）
m0_37400316的博客
05-06 554
论文地址：https://arxiv.org/pdf/2004.01461.pdf 项目地址：https://github.com/Yonghongwei/Gradient-Centralization 论文整体解读：化繁为简 不同于基于激活或权重向量运行的技术，该研究提出了一种基于权重向量梯度的简单而有效的 DNN 优化技术——梯度中心化（GC）。 如下图)所示，GC 只是通过中心化梯度向量使其...
New criterion for optimization of solar selective absorber coatings
02-25
We discuss a merit function F as judgment of photo-thermal conversion efficiency instead of two independent parameters: solar absorptance \alpha and thermal emittance \varepsilon. The merit function F...
精选资源
Archimedes_optimization_algorithm_a_new_metaheuris阿基米德优化算法
09-07
在"Archimedes_optimization_algorithm_a_new_metaheuris.pdf"这份文档中，可能详细介绍了AOA的理论基础、算法步骤、数学模型以及实证分析。你可以通过阅读这份资料了解算法的完整细节，包括如何初始化螺旋线，如何...
李宏毅机器学习2021——Optimization（最优化）
weixin_45366750的博客
08-24 612
一、The problem in optimization gradient趋于0，到达critical point（临界点） （一）两种情况 卡在local minima（局部最小），并不是很常见 卡在saddle point（鞍点，微分为0） （二）鉴别两种情况 by Taylor Series 二、How to get optimization？ （一）单个参数（单维） 针对一个w在update过程中卡住的问题，可以尝试的改进思路：01-每次update不取全部的样本，而是取一定量的batch
SVM的核函数
TYtrack的博客
05-09 1340
支持向量机是建立在统计学习理论基础之上的新一代机器学习算法，支持向量机的优势主要体现在解决线性不可分问题，它通过引入核函数，巧妙地解决了在高维空间中的内积运算，从而很好地解决了非线性分类问题。 构造出一个具有良好性能的SVM，核函数的选择是关键．核函数的选择包括两部分工作：一是核函数类型的选择，二是确定核函数类型后相关参数的选择．因此如何根据具体的数据选择恰当的核函数是SVM应用领域遇到的一个重...
df节省内存函数
TYtrack的博客
12-24 707
通过改变每一条数据的数据类型来节省内存 结果： -- Mem. usage decreased to 5.56 Mb (50.0% reduction),time spend:0.00 min -- Mem. usage decreased to 174.98 Mb (74.9% reduction),time spend:1.30 min 可以看出，优化还是挺棒的 代码： import pandas as pd import numpy as np import time # 节约内存..
判别式模型和生成式模型
TYtrack的博客
05-09 425
# 判别式模型与生成式模型 生成式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念，它们的区别在于：（对于输入x，类别标签y） 1. 生成式模型估计它们的联合概率分布P(x,y) 2. 判别式模型估计决策函数F(X)或条件概率分布P(y|x) 3. 生成式式模型可以根据贝叶斯公式得到判别式模型，但反过来不行 ## 生成式模型 1....
bias + variance
TYtrack的博客
11-23 231
Bias：偏差 Variance：方差 Loss=bias+variance 模型越复杂，方差越大，偏差越小 模型越简单，方差越小，偏差越大 怎么判断是过拟合还是欠拟合？是方差大还是偏差大？ 假如在训练集上拟合的不好就是欠拟合（偏差大） 假如在训练集上表现不错，但是在测试集表现不咋样，那就是过拟合（方差大） 假如是欠拟合，可以选择增加一些特征或者选择更复杂的模型 假如是过拟合，可以选择 使用更多的数据（数据增强），regularization，剪枝等等 所以需要平衡这两个误差..
机器学习博客
TYtrack的博客
04-30 208
1、逻辑回归 2、多元线性回归 3、凸优化，Hessian，牛顿法 4、正则化 5、生成学习算法 6、SVM 7、梯度下降 1、RNN、原理解释 2、softmax 3、深度学习的经验 ...
【机器学习笔记】
TYtrack的博客
04-29 185
1.2基本术语 假设：学得模型对应了关于数据的某种潜在的规律 真相（ground-truth）：数据的潜在规律 假设空间：所有假设构成的集合 归纳偏好(简称"偏好")：机器学习算法在学习过程中对某种类型假设的偏好。任何一个有效的机器学习算法必须有其归纳偏好 奥卡姆剃刀：若有多个假设与观察一致，则选最简单的那个 第2章 2.1经验误差和过拟合 训练误差（training error）...
梯度下降3tips
TYtrack的博客
11-24 158
最简单的原则：学习率会随着迭代次数的增多而减小；因为在开始的时候，我们离目的地太远，所以需要使用比较大的学习率，经过好几次的参数更新之后，离目标已经很近了 比如常见的例子经过t次之后， 另外不同的参数需要不同的学习率 Adagrad：每一个参数的学习率都除上之前迭代次数中所计算的该参数的导数的均方根，所以每个参数的学习率都不一样 （1） （2） （3）i从0开始，所以是t+1 经过上（1-2-3-）式 （4） 上面（4）有个矛盾的地方，越大，代表其梯度越大，参数更新越快，但...
webpack optimization配置
最新发布
06-26
在 Webpack 中，`optimization` 配置项用于控制代码的优化行为，特别是在生产环境下对输出结果进行压缩、拆分和优化加载性能。以下是一些常用的配置方法及最佳实践： ### 1. 使用 `splitChunks` 进行代码分割 通过 `splitChunks` 可以将代码拆分为多个块，减少单个文件的体积，从而提升加载速度。例如： ```javascript module.exports = { optimization: { splitChunks: { chunks: 'all', // 对所有类型的 chunk 进行拆分 minSize: 20000, // 拆分的最小大小 maxSize: 0, // 最大大小，0 表示不限制 minChunks: 1, // 被引用次数最少的模块数量 maxAsyncRequests: 30, // 异步加载时的最大请求数 maxInitialRequests: 30, // 初始加载时的最大请求数 automaticNameDelimiter: '~', // 拆分块名称的连接符 cacheGroups: { vendors: { test: /[\\/]node_modules[\\/]/, // 匹配 node_modules 中的模块 name: 'vendors', // 拆分块的名称 priority: -10, // 优先级 }, default: { minChunks: 2, // 默认情况下，至少被引用两次才拆分 priority: -20, reuseExistingChunk: true, // 如果当前块已存在，则复用 }, }, }, }, }; ``` ### 2. 使用 `minimize` 和 `minimizer` 压缩代码 Webpack 支持通过 `minimize` 选项启用代码压缩，并可以通过 `minimizer` 自定义压缩工具（如 TerserWebpackPlugin）： ```javascript const TerserPlugin = require('terser-webpack-plugin'); module.exports = { optimization: { minimize: true, minimizer: [ new TerserPlugin({ parallel: true, // 启用多线程压缩 terserOptions: { ecma: undefined, warnings: false, parse: {}, compress: {}, // 压缩选项 }, }), ], }, }; ``` ### 3. 使用 `runtimeChunk` 分离运行时代码 通过 `runtimeChunk` 可以将 Webpack 的运行时代码（如模块加载器）提取到单独的文件中，避免主文件频繁变动： ```javascript module.exports = { optimization: { runtimeChunk: 'single', // 将运行时代码提取为一个单独的 chunk }, }; ``` ### 4. 使用 `concatenateModules` 合并模块 `concatenateModules` 可以将多个模块合并为一个文件，减少运行时开销： ```javascript module.exports = { optimization: { concatenateModules: true, }, }; ``` ### 5. 使用 `usedExports` 进行 Tree Shaking Tree Shaking 是一种优化技术，可以移除未使用的代码。启用 `usedExports` 可以标记未使用的导出项： ```javascript module.exports = { optimization: { usedExports: true, }, }; ``` ### 6. 使用 `sideEffects` 控制副作用 通过 `sideEffects` 可以告诉 Webpack 哪些文件具有副作用，避免误删： ```javascript module.exports = { optimization: { sideEffects: true, }, }; ``` ### 7. 使用 `noEmitOnErrors` 防止错误输出 在构建过程中出现错误时，`noEmitOnErrors` 可以阻止生成无效的输出文件： ```javascript module.exports = { optimization: { noEmitOnErrors: true, }, }; ``` ### 8. 使用 `removeAvailableModules` 移除无用模块 `removeAvailableModules` 可以移除未使用的模块，进一步减小输出体积： ```javascript module.exports = { optimization: { removeAvailableModules: true, }, }; ``` ### 9. 使用 `providedExports` 导出模块信息 `providedExports` 可以记录模块的导出信息，帮助优化依赖分析： ```javascript module.exports = { optimization: { providedExports: true, }, }; ``` ### 10. 使用 `usedExports` 标记未使用导出 结合 `usedExports` 和 `sideEffects`，可以更精确地控制哪些代码需要保留： ```javascript module.exports = { optimization: { usedExports: true, sideEffects: true, }, }; ``` ### 最佳实践总结 - **按需加载**：通过 `splitChunks` 将代码拆分为多个块，减少初始加载时间。 - **压缩代码**：使用 `minimize` 和 `minimizer` 减小输出体积。 - **分离运行时代码**：通过 `runtimeChunk` 提取运行时代码，避免主文件频繁变化。 - **Tree Shaking**：启用 `usedExports` 和 `sideEffects` 移除未使用的代码。 - **防止错误输出**：使用 `noEmitOnErrors` 确保输出文件的完整性。 这些配置可以帮助开发者充分利用 Webpack 的优化功能，提高项目的编译效率和加载性能 [^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值