深度学习核心技术精讲100篇（二十八）-由浅入深概览机器学习优化算法

本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/114116036

本文深入浅出地探讨了机器学习优化算法，从Logistic回归的优化方法开始，包括一阶和二阶方法，接着讨论了深度学习中的优化挑战，如随机梯度下降法、海塞-自由优化方法和子采样海森方法。文章旨在帮助读者理解优化算法如何影响学习速度和效果，并指出各种方法的优缺点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

学习算法一直以来是机器学习能根据数据学到知识的核心技术。而好的优化算法可以大大提高学习速度，加快算法的收敛速度和效果。本文从浅层模型到深度模型纵览监督学习中常用的优化算法，并指出了每一种优化算法的优点及局限性，同时其还包括了一阶和二阶等各种算法的形式化表达。

本文旨在介绍关于将最优化方法应用于机器学习的关键模型、算法、以及一些开放性问题。这篇博文适合有一定知识储备的读者，尤其是那些熟悉基础优化算法但是不了解机器学习的读者。首先，我们推导出一个监督学习问题的公式，并说明它是如何基于上下文和基本假设产生各种优化问题。然后，我们讨论这些优化问题的一些显著特征，重点讨论 logistic 回归和深层神经网络训练的案例。

本文的后半部分重点介绍几种优化算法，首先是凸 logistic 回归，然后讨论一阶方法，包括了随机梯度法（SGD）、方差缩减随机方法（variance reducing stochastic method）和二阶方法的使用。最后，我们将讨论如何将这些方法应用于深层神经网络的训练，并着重描述这些模型的复杂非凸结构所带来的困难。