本文总结了牛顿法在求根和最优化问题中的应用。通过泰勒展开线性化函数，牛顿法提供了一种迭代逼近真实解的方法。在求最值时，牛顿法涉及到二阶导数，即海瑟矩阵。此外，文章还提及了拟牛顿法，如DFP和BFGS，它们用于迭代逼近海瑟矩阵的逆矩阵。
牛顿法思考总结（不一定对，欢迎指正）
一：牛顿法原本是用来求根的：
本质上是函数f(x）泰勒展开后，取一阶来近似，即用线性函数近似f(x)，毕竟计算机找的是近似解，线性函数更好算
【计算机求近似解，本质上是尝试不同的点，所以怎么选取这些点是重要的。泰勒展开在任一点都可进行，不仅能让求解式子统一起来，还能让我们不论起点在哪里，终点都是越来越接近事实真相】
故用线性函数的根来近似f(x)的根
1.在x0处展开，一系列对应后，解得该线性函数的根为x1。
又由于x1比x0更接近f(x)得根，故
2.在x1处泰勒展开，同样取一阶来近似，用线性函数近似
所以才有同样形式的公式可以迭代。
【之所以写成这种迭代格式，不是这个形式与生俱来的光辉，而是恰好整理后都是这样的形式】
二：牛顿法求最值
最值点的导数应该为0（一般假设导数存在）
思想还是尝试取一系列不同的点，
胡乱取点太没规律了（那随机梯度下降的随机，怎么又行了呢因为相当于缩小了样本量），
所以还是用牛顿法这种相对有规律的办法来取点。
2.牛顿法与 海瑟矩阵（二阶）怎么牵扯上的？
牛顿法求最值
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
