可导凸函数的最优解搜索问题 文章目录 可导凸函数的最优解搜索问题 1. 牛顿迭代法 1.1 牛顿分搜索零点的原理 1.2 牛顿法搜索极值点原理 2. 梯度下降法 2.1 微分与梯度 2.1.1 一元函数与多元函数的微分 2.1.2 梯度 2.2 梯度下降法 2.2.1 多元线性回归（Toy data） 2.2.2 多元线性回归（Real data） 3. 随机梯度下降 4. 梯度下降与随机梯度下降的效果对比 5. 小批量梯度下降 1. 牛顿迭代法 1.1 牛顿分搜索零点的原理 牛顿法是基于泰勒公式来实现的。泰勒公式的意义：如果函数满足一定的条件，泰勒公式可以用函数在某一点的各阶导数值做系数构建一个多项式来近似表达这个函数。 已经证明，如果是连续的，并且待求的零点是孤立的，那么在零点周围存在一个区域，只要初始值位于这个邻近区域内，那么牛顿法必定收敛。 并且，如果不为0, 那么牛顿法将具有平方收敛的性能. 粗略的说，这意味着每迭代一次，牛顿法结果的有效数字将增加一倍。 3 牛顿法的几何解释 牛顿法的迭代过程如下： 算法 1: 牛顿法求方程的零点
超级会员免费看
本文介绍了可导凸函数的最优解搜索问题，重点讲解了牛顿迭代法和梯度下降法。牛顿法基于泰勒公式，具有平方收敛性能；梯度下降法类比于下山过程，通过迭代找到目标函数最小值。此外，还讨论了梯度的微分概念、多元线性回归的梯度下降应用，以及随机梯度下降和小批量梯度下降的比较。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
