矩阵求导的相关知识

一、矩阵求导

一般来讲，我们约定 $x=(x_1,x_2,...x_n{)}^T$，这是分母布局。常见的矩阵求导方式有：向量对向量求导，标量对向量求导，向量对标量求导。
六种矩阵最整齐的求导结果：

1.向量对向量求导

2.标量对向量求导


3、向量对标量求导

二、几种重要的矩阵

1、梯度（Gradient）


梯度的转置是一个行向量：

2、雅克比矩阵（Jacobian matrix）【雅可比矩阵本质上是一阶梯度，向量对向量微分】

3、海森矩阵（Hessian matrix）【海森矩阵是二阶梯度】

三、常用的矩阵求导公式

参考：
https://blog.youkuaiyun.com/daaikuaichuan/article/details/80620518
http://blog.sina.com.cn/s/blog_8eac0b290101fsqb.html
https://blog.youkuaiyun.com/yc461515457/article/details/49682473