Jacobian矩阵和Hessian矩阵的理解

最新推荐文章于 2025-03-08 14:13:51 发布

fjssharpsword

最新推荐文章于 2025-03-08 14:13:51 发布

阅读量7.2k

点赞数 3

分类专栏： Algorithm

本文链接：https://blog.youkuaiyun.com/fjssharpsword/article/details/79309295

版权

深度学习中梯度向量的计算，Jacobian矩阵和Hessian矩阵是基础的知识点。

求微分其实就是线性化，导数其实就是线性空间之间的线性变换，Jaocibian矩阵本质上就是导数。

比如，映射 $f:M\to N$ 在处的导数 df_x 就是在处的切空间 TM_x 到在 f(x) 处的切空间 $TN_{f(x)}$ 之间的线性映射。切空间都是矢量空间，都有基底，所以这个线性变换就是矩阵。在欧氏空间子空间的开集上，切空间就是某个 $\mathbb{R}^n$ ，比如实轴上的切空间就是 $\mathbb{R}$ ，曲面上的切空间为 $\mathbb{R}^2$ 。这样一想，函数 $f:\mathbb{R}\to\mathbb{R}$ 的导数无非就是切空间 $T\mathbb{R}_x=\mathbb{R}$ 到切空间 $T\mathbb{R}_{f(x)}=\mathbb{R}$ 的线性变换，是一个 $1\times 1$ 矩阵，同构于一个实数。

因此，Jacobian矩阵实质上就是切空间之间的基底之间的线性变换，这也是为什么积分中变换坐标时前面会乘以一个Jacobian矩阵的行列式。

1、梯度向量：

定义：

目标函数f为单变量，是关于自变量向量x=(x1,x2,…,xn)T的函数，

单变量函数f对向量x求梯度，结果为一个与向量x同维度的向量，称之为梯度向量；

2、Jacobian矩阵：

定义：

目标函数f为一个函数向量，f=(f1(x),f2(x),…fm(x))T;

其中，自变量x=(x1,x2,…,xn)T；

函数向量f对x求梯度，结果为一个矩阵；行数为f的维数；列数位x的维度，称之为Jacobian矩阵；

其每一行都是由相应函数的梯度向量转置构成的；

【注】：梯度向量Jacobian矩阵的一个特例；

当目标函数为标量函数时，Jacobian矩阵是梯度向量；

雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近. 因此, 雅可比矩阵类似于多元函数的导数.

雅可比行列式

如果m = n, 那么F是从n维空间到n维空间的函数, 且它的雅可比矩阵是一个方块矩阵. 于是我们可以取它的行列式, 称为雅可比行列式.在某个给定点的雅可比行列式提供了在接近该点时的表现的重要信息. 例如, 如果连续可微函数F在p点的雅可比行列式不是零, 那么它在该点附近具有反函数. 这称为反函数定理. 更进一步, 如果p点的雅可比行列式是正数, 则F在p点的取向不变；如果是负数, 则F的取向相反. 而从雅可比行列式的绝对值, 就可以知道函数F在p点的缩放因子；这就是为什么它出现在换元积分法中.