通过不断重置学习率来逃离局部极值点

最新推荐文章于 2025-10-16 14:10:36 发布
原创 最新推荐文章于 2025-10-16 14:10:36 发布 · 2.1w 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #局部极小值 #鞍点

本文探讨了在深度学习优化过程中如何通过在优化末期增大学习率来跳出局部极小值和鞍点，提高模型性能。介绍了随机漫步起跳法和历史最优起跳法两种策略，并通过实验对比了它们的效果，发现这两种方法能有效提升优化结果，尤其是在固定学习率和动态学习率调整的基础上。

/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/

                                              

                                                                                         黄通文   张俊林（ 2016年12月）

                   

最低0.47元/天 解锁文章
7、PyTorch 参数初始化及模型保存、加载、微调及推理
Man
02-24 2762
文章目录一、torch.nn.init二、Finetune三、参考资料 一、torch.nn.init 二、Finetune 三、参考资料
深度学习（总结）
weixin_42133768的博客
11-07 1169
适合入门级深度学习的知识点（北交大）
机器学习的算法优化中“跳出”局部极小值
qq_20880939的博客
08-19 2461
下面内容摘自西瓜书，也是我的学习笔记。 在现实的任务中，人们可以采用三种方式试图 “跳出” 局部极小，从而进一步接近全局最小。 1. 以多组不同参数初始化多个神经网络，按标准方法训练后，取其中误差最小的解作为最终的参数。这相当于从不同的初始点开始搜索，这样就可能陷入不同的局部极小，从中进行选择有可能更接近全局最小的结果。 2. 使用 ”模拟退火“ 技术，模拟退火在每一步都以一定的概率接受比当...
求局部极值的小技巧
audio_mqiu的专栏
11-11 1502
nbr = np.zeros(len(vec)+1, dtype=bool) nbr[0] = True nbr[1:-1] = np.greater_equal(vec[1:], vec[:-1]) maxmask = (nbr[:-1] & ~nbr[1:])
局部加权学习（LWL）
最新发布
彩云回的博客
10-16 1290
局部加权学习（LWL）是一种灵活的机器学习算法，采用"懒惰学习"策略，只在预测时针对新样本点周围的"邻居"数据建立临时模型。其核心包括距离度量、权重函数（如高斯核）和加权回归模型。LWL通过赋予不同样本权重进行局部拟合，能有效处理非线性关系，但计算成本高且对带宽参数敏感。相比KNN的直接平均和线性回归的全局建模，LWL结合了局部加权和回归的优势，适合复杂数据但需权衡计算效率。该算法存储开销大且易受维度影响，需谨慎选择参数。
深度学习 - 解决局部最优点问题的方案
马飞飞的博客
09-11 2万+
问题描述 一般的梯度下降方法寻找的是loss function的局部极小值，而我们想要全局最小值。如下误差曲面图所示，我们希望loss值可以降低到右侧深蓝色的最低点，但loss有可能“卡”在左侧的局部极小值中，也就是图中红线所走的路径。 方案 为了防止卡到'局部最优点'，我们有以下几个方法：       [1]使用随机梯度下降代替真正的梯度下降。可以这样理解，每次针对单个数据样例进行摸...
如何避免陷入鞍点（局部最小）
lfc2017的博客
12-06 4624
（一）以多组不同参数值初始化多个神经网络，去其中误差最小的作为结果 （二）使用“模拟退火”技术 　　模拟退火在每一步都以一定的概率接受比当前解更差的结果，从而有助于跳出局部最小值。在每次迭代过程中，接受’“次优解”的概率要随着时间的推移而逐渐降低，从而保证算法稳定。 （三）使用随机梯度下降 　　每次随机选取一个样本进行梯度下降，在梯度下降时加入了随机因素。即便陷入了局部最小点，它计算出的梯...
SGDR逃离鞍点
04-01
SGDR（Stochastic Gradient Descent with Warm Restarts）通过结合**周期性学习率重启**与**模拟退火**策略，帮助模型在优化过程中逃离鞍点。以下是其核心机制： --- #### 1. 鞍点问题与梯度下降的局限性 - **鞍点...
跳出局部最优陷阱：引入扰动与变异提升搜索能力的实战策略
![跳出局部最优陷阱：引入扰动与...通过建立扰动的数学模型与自适应调控策略，结合遗传、模拟退火等多类变异方法的融合设计，提出“探测-扰动-变异-恢复”循环机制，并在神经网络训练、组合优化与强化学习等典型场景
【优化篇】：优化算法详解助力2023国科大机器学习考题一，性能飞跃
![优化算法]... # 摘要 本文系统性地探讨了优化算法在理论和实践层面的应用与进展。首先对优化算法的基础概念与分类进行了概述，并详细解析了经典优化理论，如梯度下降法及其变体、约束优化算法、非线
模拟退火算法是怎么跳出局部最小值
weixin_44893585的博客
08-30 2738
模拟退火算法确保求出的是全局最优值，不会陷入局部最小值 模拟退火算法新解的产生相当于一个找“邻居”的过程，目标函数很容易陷入局部最小值，但是通过以一定概率接受比当前解更差的新解使得目标函数的取值可以跳出局部最小值，最终到达全局最优。 以下链接讲解的非常清楚。 https://blog.youkuaiyun.com/sinat_33425327/article/details/82468869 ...
机器学习--“跳出”局部最小值
qq_20880939的博客
04-04 5053
在现实的任务上，“跳出”局部最小值可以有三种思想进行考虑。1.以多组不同的参数值初始化多个神经网络，按标准化方法训练后，取其中误差最小的解作为最终的参数，这相当于从多个不同的初始点开始进行探索，这样就可能陷入不同的局部极小，从中进行有可能获得更接近全局最小的结果.2. 使用“模拟退火”技术,“模拟退火”在每一步都会以一定的概率接受比当前更差的结果，从而有助于“跳出”局部最小，在每一步的迭代的过程中...
CNN
cheatingdeath的专栏
07-18 701
多层感知机解决了之前无法模拟异或逻辑的缺陷，同时更多的层数也让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。多层感知机给我们带来的启示是，神经网络的层数直接决定了它对现实的刻画能力——利用每层更少的神经元拟合更加复杂的函数。但是随着神经网络层数的加深，优化函数越来越容易陷入局部最优解（即过拟合，在训练样本上有很好的拟
深度学习笔记（二十一）学习率衰减和局部最优问题
我的技术栈碎碎念空间
01-27 1300
考虑学习率不变的情况，梯度下降难以在最后达到收敛，如果采用学习率衰减方式呢？在刚开始能承受大步伐的梯度下降，随着梯度下降的进行，学习率衰减有利于最后收敛到一个趋近于最低点。 在1epoch内（1 pass through data）： α=α01+decay_rate∗epoch_num\alpha=\frac{\alpha_0}{1+decay\_rate*epoch_\_num}α=1+decay_rate∗epoch_​numα0​​ 其他学习率衰减的方法： α=0.95epoch_num∗α0\a
深度学习面试题-6
Le0v1n 的博客
05-04 1817
面试题-6
局部最优 与 batch size
LegenDavid's warehouse
08-28 2876
真的结束于最优点吗？ 我们知道，在局部最优点附近，各个维度的导数都接近0，而我们训练模型最常用的梯度下降法又是基于导数与步长的乘积去更新模型参数的，因此一旦陷入了局部最优点，就像掉进了一口井，你是无法直着跳出去的，你只有连续不间断的依托四周的井壁努力向上爬才有可能爬出去。更何况梯度下降法的每一步对梯度正确的估计都在试图让你坠入井底，因此势必要对梯度“估计错很多次”才可能侥幸逃出去。那么从数学上看...
如何理解深度学习中的局部最优
Xurui_Luo的博客
04-23 3683
错觉 深度神经网络“容易收敛到局部最优”，很可能是一种想象，实际情况是，我们可能从来没有找到过“局部最优”，更别说全局最优了。 很多人都有一种看法，就是“局部最优是神经网络优化的主要难点”。这来源于一维优化问题的直观想象。在单变量的情形下，优化问题最直观的困难就是有很多局部极值，如： 人们直观的想象，高维的时候这样的局部极值会更多，指数级的增加，于是优化到全局最优就更难了。然而单变量到多变量一个重要差异是，单变量的时候，Hessian 矩阵只有一个特征值，于是无论这个特征值的符号正负，一个临界点都是局部
禁忌搜索算法详解
热门推荐
tyhj_sf的博客空间
01-08 7万+
引言 对于优化问题相关算法有如下分类： 禁忌搜索是由局部搜索算法发展而来，爬山法是从通用局部搜索算法改进而来。在介绍禁忌搜索之前先来熟悉下爬山法和局部搜索算法。 局部搜索算法 算法的基本思想 在搜索过程中，始终选择当前点的邻居中与离目标最近者的方向搜索。 算法过程 （1）随机选择一个初始的可能解x0 ∈D，xb=x0,P=N(xb); //D是问题的定义...
常见跳出局部最小值策略
Touch_Dream的博客
04-12 1万+
现实任务中，人们常采用以下策略来试图“跳出”局部最小值，从而达到全局最小值： 1、以多组不同参数值初始化多个神经网络，按标准方法训练后，取其中误差最小的解作为最终参数，这相当于从多个不同的初始化点开始搜索，从而可能寻找全局最优。 2、使用模拟退化技术，模拟退火在每一步都以一定的概率接受比当前解更差的结果，从而有助于“跳出”局部极小。在每步迭代过程中，接受“次优解”的概率随着时间的推移而逐渐降低
Python实现局部加权线性回归的实战分析
局部加权线性回归（Locally Weighted Linear Regression，LWLR）是一种非参数回归算法，属于机器学习领域。在LWLR中，模型会对每一个数据点进行加权，权重通常是基于目标点与数据点之间的距离，越近的数据点权重越大...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值