### Newton's Method

最新推荐文章于 2021-10-23 22:40:36 发布

weixin_30782293

最新推荐文章于 2021-10-23 22:40:36 发布

阅读量68

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/gr-nick/p/4264653.html

本文介绍了牛顿法及其在优化问题中的应用，包括求解方程和解决大规模优化问题的方法。同时，文章阐述了拟牛顿法的原理，以及如何通过正定矩阵近似Hessian矩阵来简化计算过程。本文详细解释了Talyor公式、Jacobian矩阵、Hessian矩阵的概念，并提供了求解方程和优化问题的具体步骤。

牛顿法可以用于求解方程，优化问题。牛顿法在最优化问题中每步都要求Hessian矩阵，计算比较复杂，拟牛顿法通过正定矩阵近似Hessian矩阵，简化了这一计算过程。

#@author:       gr
#@date:         2014-01-30
#@email:        forgerui@gmail.com

一、 Talyor公式

$f(x)$具有直到$(n+1)$阶的导数，有

\[ f(x) = f(x_0) + f'(x_0)(x - x_0) + \dfrac{f''(x_0)}{2!}(x - x_0)^2 + \cdots + \dfrac{f^n(x_0)}{n!}(x - x_0)^n + R_n(x)\]

其中，

\[R_n(x) = \dfrac{f^{(n+1)(\xi)}}{(n+1)!}(x - x_0)^{n+1}\]

二、Jacobian & Hessian

1. Jacobian矩阵

假设$F: R_n \rightarrow R_m$ 是一个从欧式n维空间转换到欧式m维空间的函数。这个函数由m个实函数组成：$y_1(x_1,\cdots , x_n), \cdots , y_m(x_1, \cdots , x_n)$。则Jacobian矩阵如下：

$$ J = \begin{bmatrix} \dfrac{\partial y_1}{\partial x_1} & \dfrac{\partial y_1}{\partial x_2} & \cdots & \dfrac{\partial y_1}{\partial x_n} \\ \dfrac{\partial y_2}{\partial x_1} & \dfrac{\partial y_2}{\partial x_2} & \cdots & \dfrac{\partial y_2}{\partial x_n}\\ \vdots & \vdots & \ddots & \vdots & \\ \dfrac{\partial y_n}{\partial x_1} & \dfrac{\partial y_n}{\partial x_2} & \cdots & \dfrac{\partial y_n}{\partial x_n} \end{bmatrix} $$

如果$ m = n$时，那么F就变成了$n \times n$ 维的函数，它的雅可比矩阵是一个方阵。

2. Hessian矩阵

海森矩阵(Hessian matrix或Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵,函数如下：

\[ f(x_1, x_2, \cdots , x_n)\]

如果$f$的所有二阶导数都存在，那么$f$的海森矩阵即：

\[ H(f)_{ij} (x) = D_i D_j f(x) \]

其中$x = (x_1, x_2, \cdots , x_n)$，即$H(f)$为：

$$ \left[ \begin{matrix} \dfrac{\partial^2f}{\partial x_1^2} & \dfrac{\partial^2f}{\partial x_1 \partial x_2 } & \cdots & \dfrac{\partial^2f}{\partial x_1 \partial x_n }\\ \dfrac{\partial^2f}{\partial x_2 \partial x_1} & \dfrac{\partial^2f}{\partial x_2^2} & \cdots & \dfrac{\partial^2f}{\partial x_2 \partial x_n }\\ \vdots & \vdots & \ddots & \vdots \\ \dfrac{\partial^2f}{\partial x_n \partial x_1} & \dfrac{\partial^2f}{\partial x_n \partial x_2} & \cdots & \dfrac{\partial^2f}{\partial x_n^2 }\\ \end{matrix} \right] $$

海森矩阵可以被应用于牛顿法解决的大规模优化问题.