本文详细介绍了雅可比矩阵和海森矩阵的概念及其在数学和优化中的应用。雅可比矩阵用于描述多变量函数的一阶偏导数，提供最佳线性近似，其行列式在反函数定理和方向变化中扮演关键角色。海森矩阵是函数的二阶偏导数组成的方块矩阵，用于二阶导数检验和牛顿法优化。在牛顿法中，海森矩阵帮助确定函数的局部极值和迭代方向，但在实际应用中，由于计算量和对函数连续性的要求，常采用拟牛顿法作为替代。
【矩阵学习】Jacobian矩阵和Hessian矩阵
Jacobian 矩阵
在向量分析中, 雅可比矩阵是一阶（first-order）偏导数（partial derivatives）以一定方式排列成的矩阵, 其行列式称为雅可比行列式。
wikipedia 给出的定义：
假设 f : R n → R m \bm{f}:R^{n} \rightarrow R^{m} f:Rn→Rm 是一个从欧式 n n n 维空间映射到欧式 m m m 维空间的函数，输入向量为 x ∈ R n \bm{x} \in R^{n} x∈Rn，输出向量为 f ( x ) ∈ R m \bm{f(x)} \in R^{m} f(x)∈Rm。若 f f f 的偏导数存在，其组成的 m × n m \times n m×n 的矩阵就是雅可比（Jacobian）矩阵：
可以看出， J i j = ∂ f i ∂ x j \bm{J}_{ij} = \frac{\partial \bm{f}_{i}}{\partial \bm{x}_{j}} Jij=∂xj∂fi。
Jacobian 矩阵有一个很重要的知识点，就是 最佳优线性近似 。
如果 p p p 是 R n R^{n} Rn 中的一点， f \bm{f} f 在 p p p 点可微，那么这一点的导数可由 J f ( p ) \bm{J}_\bm{f}(p) Jf(p) 给出。在这种情况下， J f ( p ) \bm{J}_\bm{f}(p) J
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
