矩阵、向量微分计算

定义1. 梯度（Gradient）[标量对列向量微分]
设$f(x)$是一个变量为$x$的标量函数，其中$x=（x_1...x_N）^T$。那么定义$f(x)$对$x$的梯度为$\frac{d f(x)}{d x}$：

梯度的转置是一个行向量：

定义2. 海塞矩阵（Hessian matrix）【海塞矩阵是二阶梯度】
设$f(x)$是一个二阶可微分的标量函数，其中$x=（x_1...x_N）^T$。那么定义$f(x)$对$x$的海塞矩阵为$\frac{d^2 f(x)}{dx dx^T}$：

海塞矩阵是对称阵。

定义3. 雅可比矩阵（Jacobian matrix）【雅可比矩阵本质上是一阶梯度，向量对向量微分】
设$f(x)$是一个K X 1的列向量函数

其中$x=（x_1...x_L）^T$。那么定义$f(x)$对$x$的雅可比矩阵为$\frac{d f(x)}{dx^T}$：

定义4. [矩阵对标量微分]
$M\times N$的矩阵 $A$的元素是一个向量$x$的元素$x_q$的函数，定义$\frac { \partial A}{\partial x_q}$为：

矩阵的二阶微分：

定理1. 矩阵的乘积微分
$A$是$K \times M$的矩阵，B是 $K \times L$的矩阵，$C=AB$。设$A和B$的元素是向量$x$的一个元素$x_q$的函数，那么：

证明过程如下：

定理2.
$A$是