最优化理论与方法
关注
分享
扫一扫
文章平均质量分 96
以认识机器学习/深度学习中的各优化算法为目标，对最优化理论进行系统性地简单认识。
静静的喝酒
静静的生活就好
展开
-
深度学习笔记之优化算法(八)Adam算法的简单认识
上一节介绍了基于Nesterov动量与RMSProp的融合算法，本节将介绍《深度学习(花书)》P187 8.5自适应学习率算法中的最后一个算法：Adam算法。原创 2023-10-11 20:44:26 · 834 阅读 · 0 评论 -
深度学习笔记之优化算法(七)总结与延伸：使用Nesterov动量的RMSProp算法
上一节介绍了RMSProp算法，本节在其基础上进行延伸，介绍基于Nesterov动量的RMSProp算法。原创 2023-10-11 14:39:11 · 676 阅读 · 0 评论 -
深度学习笔记之优化算法(六)RMSprop算法的简单认识
上一节对AdaGrad算法进行了简单认识，本节将介绍RMSProp方法。原创 2023-10-10 18:40:39 · 503 阅读 · 0 评论 -
深度学习笔记之优化算法(五)AdaGrad算法的简单认识
上一节对Nesterov动量法进行了简单认识，本节将介绍AdaGrad方法。原创 2023-10-09 18:58:06 · 602 阅读 · 0 评论 -
深度学习笔记之优化算法(四)Nesterov动量方法的简单认识
上一节对动量法进行了简单认识，本节将介绍Nesterov动量方法。原创 2023-10-08 18:56:00 · 2820 阅读 · 0 评论 -
深度学习笔记之优化算法(三)动量法的简单认识
上一节介绍了随机梯度下降(Stochastic Gradient Descent,SGD)，本节将介绍动量法。原创 2023-10-07 19:57:57 · 743 阅读 · 0 评论 -
深度学习笔记之优化算法(一)铺垫：梯度下降法VS最速下降法
从本节开始，将介绍深度学习中常见的优化算法。在介绍随机梯度下降之前，将针对最速下降法与梯度下降法之间差异性做一些说明。原创 2023-09-19 18:08:03 · 474 阅读 · 1 评论 -
机器学习笔记之无约束优化问题——(阶段性收尾)共轭方向法与Wolfe准则优化方法Python示例
本节使用Python对共轭梯度法的精确搜索与非精确搜索进行示例。原创 2023-09-16 18:17:07 · 970 阅读 · 0 评论 -
机器学习笔记之最优化理论与算法(十二)无约束优化问题——共轭梯度法
上一节主要介绍了共轭方向法的重要特征以及相关证明，本节将介绍共轭方向法的代表算法——共轭梯度法。原创 2023-09-13 13:44:34 · 1106 阅读 · 0 评论 -
机器学习笔记自最优化理论与方法(十一)无约束优化问题——关于共轭方向法重要特征的相关证明
上一节介绍了共轭方向法的朴素思想与几何意义。本节将继续介绍共轭方向法的重要特征以及相关证明。原创 2023-09-12 16:14:52 · 635 阅读 · 0 评论 -
机器学习笔记之最优化理论与方法(十)无约束优化问题——共轭梯度法背景介绍
本节将介绍共轭梯度法，并重点介绍共轭方向法的逻辑与几何意义。原创 2023-09-10 22:06:08 · 1076 阅读 · 0 评论 -
机器学习笔记之最优化理论与方法(九)无约束优化问题——常用求解方法(下)
上一节介绍了牛顿法、拟牛顿法。本节将继续以拟牛顿法为基础，介绍DFP,BFGS方法。原创 2023-09-07 19:16:31 · 531 阅读 · 1 评论 -
机器学习笔记之最优化理论与方法(八)无约束优化问题——常用求解方法(中)
本节将继续介绍无约束优化问题的常用求解方法，包括牛顿法、拟牛顿法。原创 2023-09-07 12:16:44 · 900 阅读 · 0 评论 -
机器学习笔记之最优化理论与方法(七)无约束优化问题——常用求解方法(上)
本节将介绍无约束优化问题的常用求解方法，包括坐标轴交替下降法、最速下降法。原创 2023-09-05 18:46:21 · 1417 阅读 · 0 评论 -
机器学习笔记之最优化理论与方法(六)无约束优化问题——最优性条件
本节将介绍无约束优化问题，主要介绍无约束优化问题最优解的相关性质。原创 2023-09-04 19:24:56 · 1993 阅读 · 0 评论 -
机器学习笔记之最优化理论与方法(五)凸优化问题(上)
本节将介绍凸优化问题，主要介绍凸优化问题的基本定义、凸优化与非凸优化问题的区分。原创 2023-09-03 19:15:57 · 995 阅读 · 0 评论 -
机器学习笔记之最优化理论与方法(四) 凸函数：定义与基本性质
本节将介绍凸函数定义及其基本性质。原创 2023-09-02 16:01:23 · 1837 阅读 · 0 评论 -
机器学习笔记之最优化理论与方法(三)凸集的简单认识(下)
继续凸集的简单认识(上)进行介绍，本节将介绍凸集的基本性质以及相关定理。原创 2023-08-31 17:43:55 · 930 阅读 · 0 评论 -
机器学习笔记之最优化理论与方法(二)凸集的简单认识(上)
本节将介绍关于凸集的基本信息，包括概念、基本性质以及常见凸集。原创 2023-08-30 19:39:35 · 1066 阅读 · 0 评论 -
机器学习笔记之最优化理论与方法(一)最优化问题概述
从本节开始，将对最优化理论与方法进行简单认识。原创 2023-08-29 16:09:25 · 1521 阅读 · 0 评论 -
机器学习笔记之优化算法(十九)经典牛顿法的收敛性分析
上一节整体介绍了经典牛顿法，并讨论了其更新方向Pk是否为下降方向。本节将对经典牛顿法在迭代过程中的收敛性进行分析。原创 2023-08-22 19:27:00 · 2494 阅读 · 1 评论 -
机器学习笔记之优化算法(十八)经典牛顿法
本节将介绍优化算法——经典牛顿法(Newton Method)。原创 2023-08-21 20:34:16 · 1383 阅读 · 1 评论 -
机器学习笔记之优化算法(十七)梯度下降法在强凸函数的收敛性分析
上一节介绍并证明了：梯度下降法在强凸函数上的收敛速度满足Q-线性收敛。本节将介绍在更强的条件下：函数f(⋅)在其定义域内二阶可微，梯度下降法在f(⋅)上的收敛速度存在什么样的结论。原创 2023-08-21 17:20:01 · 1101 阅读 · 0 评论 -
机器学习笔记之优化算法(十六)梯度下降法在强凸函数上的收敛性证明
本节将介绍：梯度下降法在强凸函数上的收敛性，以及证明过程。原创 2023-08-20 22:03:38 · 2484 阅读 · 0 评论 -
机器学习笔记之优化算法(十五)Baillon Haddad Theorem简单认识
本节将简单认识Baillon Haddad Theorem(白老爹定理)，并提供相关证明。原创 2023-08-18 17:33:38 · 1236 阅读 · 0 评论 -
机器学习笔记值优化算法(十四)梯度下降法在凸函数上的收敛性
本节将介绍梯度下降法在凸函数上的收敛性。原创 2023-08-11 18:20:45 · 1678 阅读 · 1 评论 -
机器学习笔记之优化算法(十三)关于二次上界引理
本节将介绍二次上界的具体作用以及它的证明过程。原创 2023-08-11 11:54:16 · 1944 阅读 · 0 评论 -
机器学习笔记之优化算法(十二)梯度下降法：凸函数VS强凸函数
本节将介绍凸函数/严格凸函数/强凸函数以及它们之间的联系(补梯度下降法：总体介绍中的坑)。原创 2023-08-09 19:11:42 · 2683 阅读 · 0 评论 -
机器学习笔记之优化算法(十一)凸函数铺垫：梯度与方向导数
本节作为介绍凸函数的铺垫，简单介绍方向导数与梯度。原创 2023-08-07 19:48:45 · 945 阅读 · 0 评论