梯度，hesse阵与Jacobi矩阵

白云千载尽

已于 2024-04-23 13:27:18 修改

阅读量1.5k

点赞数 15

CC 4.0 BY-SA版权

分类专栏：数学原理文章标签：矩阵线性代数

于 2024-04-23 10:27:12 首次发布

本文链接：https://blog.youkuaiyun.com/hooksten/article/details/138056772

数学原理专栏收录该内容

2 篇文章

订阅专栏

本文解释了梯度作为一阶偏导数的列向量表示，强调了在多元函数中计算时的注意事项。进一步介绍了Hesse阵，它是二阶偏导数的矩阵形式，以及雅可比矩阵如何扩展了梯度的概念，用于向量值函数的导数表示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

分清楚三个量的含义和计算方法。

梯度

表征的是一个列向量，是相对于某个方向而言的，但是某个方向上可能有多个变量，所以梯度不是简单的直接求偏导，并且说了，它是一个列向量，所以，
我们设 $f : F$ 是 $R^n$ -> $R$ 的一阶连续可微函数，则 $f$ 在 $x$ 处的一阶偏导数：
$∇\nabla$ $f (x)$ =( $∂f(x)∂x1\frac{\partial f(x)}{\partial x_1}$ , $∂f(x)∂x1\frac{\partial f(x)}{\partial x_1}$ , $⋯\cdots$ , $∂f(x)∂xn\frac{\partial f(x)}{\partial x_n}$ ) $^T$
即：
$∇f(x)=(∂f(x)∂x1∂f(x)∂x2⋮∂f(x)∂xn)\nabla{f(x)}=\left(\begin{matrix}\frac{\partial f(x)}{\partial x_1} \\ \frac{\partial f(x)}{\partial x_2} \\ \vdots \\ \frac{\partial f(x)}{\partial x_n} \end{matrix} \right)$
所以说是一个 $R_n->R$ 的变换

hesse阵

在梯度的基础上就是二阶偏导就是hesse阵，注意由于是二阶偏导，所以不止是平方，还有混合偏导数的存在。

在这里插入图片描述
$∇2f(x)\nabla^2{f(x)}$ =( $∂2f∂xi∂xj)n×n\frac{\partial^2{f}}{\partial{x_i}\partial{x_j}})_{n\times n}$

$∇2f(x)=(∂2f∂x12∂2f∂x1∂x2⋯∂2f∂x1∂xn∂2f∂x2∂x1∂2f∂x22⋯∂2f∂x2∂xn⋮∂2f∂xn∂x1∂2f∂xn∂x2⋯∂2f∂xn2)\nabla^2f(x)=\left(\begin{matrix} \frac{\partial^2f}{\partial x_1^2} \frac {\partial^2f}{\partial x_1\partial x_2} \cdots \frac{\partial^2f}{\partial x_1\partial x_n} \\ \frac{\partial^2f}{\partial x_2 \partial x_1} \frac{\partial^2f}{\partial x_2^2} \cdots \frac{\partial^2f}{\partial x_2 \partial x_n} \\ \vdots \\ \frac{\partial^2f}{\partial x_n \partial x_1} \frac{\partial^2f}{\partial x_n \partial x_2} \cdots \frac{\partial^2f}{\partial x_n^2} \end{matrix} \right)$
每一行都已 $x_i$ 开始，然后求二阶继续从 $x_i$ 到 $x_n$ 求出

雅可比

其实是一种维度拓宽的梯度的表示方法，也就是 $f$ 是 $F⊆Rn→RmF\subseteq{R^n}\rightarrow{R^m}$ ， $x$ 在F上连续可微，则一阶导数为：
在这里插入图片描述

$F′(x)=(∂Fi(x)∂xj)m×n∈Rm×nF'(x)=(\frac{\partial{F_i(x)}}{\partial{x_j}})_{m\times n}\in{R^{m\times n}}$
也就是说，向量值函数的导数就是雅可比矩阵，向量中的每一项分别求梯度再组合起来。
比如：对于 $f:Rn→Rf:R^n \rightarrow R$
我们可以和梯度以及hesse阵联系起来看Jacobi矩阵，
$H(x)=J(∇f(x))H(x)=J(\nabla f(x))$
$H(x)=∇2f(x)H(x)=\nabla^2f(x)$
梯度的Jacobi矩阵就是hesse阵。
举个例子说明一下：
在这里插入图片描述

以上用到的markdown语法
分数 $xy\frac{x}{y}$ \frac{x}{y}
偏导数 $∂f(x)\partial{f(x)}$ \partial{f(x)}
梯度 $∇f(x)\nabla{f(x)}$ \nabla{f(x)}
表示x_1^2的： $x_i^j$
×：\times
vdots
cdots
\leftarrow
\rightarrow
\in 属于
$⊆\subseteq$ 包含 \subseteq