矩阵求导简介

---

前言

提示：本文简要介绍矩阵求导方面的知识

标量函数的求导读者应该非常熟悉了。假设$f(x)$对$x$求导，那么将得到$\frac{df}{dx}$这样一个导数，显然它仍然是一个标量。然后下面分别介绍当$x$为向量或者$f$为向量函数的情况。

---

提示：以下是本篇文章正文内容，可供参考

一、标量函数对向量求导

先考虑$x$为向量的情况。假设$x\in {\mathbb{R}}^m$，为列向量，那么：
$$\frac{df}{dx}={\left[\frac{df}{d{x}_1},...,\frac{df}{d{x}_m}\right]}^T\in {\mathbb{R}}_m\text{\hspace{1em}(1)}$$
这将得到一个$m\cdot 1$的向量。有时也写成对$x^T$的求导：
$$\frac{df}{d{x}^T}=\left[\frac{df}{d{x}_1},...,\frac{df}{d{x}_m}\right]\text{\hspace{1em}(2)}$$
这得到一个行向量。一般称为$\frac{df}{dx}$为梯度或者Jacobian，不同领域习惯可能不同。

二、向量函数对向量求导

一个向量函数也可以对向量求导。考虑$F(x)$为一个向量函数：
$$F(x)={\left[f_1(x),...,f_n(x)\right]}^T$$
其中每一个$f_k$都是一个自变量为向量，取值为标量的函数。考虑这样的函数对$x$求导时，通常的做法是写为
$$\frac{\partial F}{\partial x^T}=\left[\begin{array}{c}\frac{\partial f_1}{\partial x^T}\\ ⋮\\ \frac{\partial f_n}{\partial x^T}\end{array}\right]=\left[\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}& \cdots & \frac{\partial f_1}{\partial x_m}\\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}& \cdots & \frac{\partial f_2}{\partial x_m}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f_n}{\partial x_1}& \frac{\partial f_n}{\partial x_2}& \cdots & \frac{\partial f_n}{\partial x_m}\end{array}\right]\in {\mathbb{R}}^{n\times m}\text{\hspace{1em}(3)}$$
也就是写成列函数对行向量求导的形式，这将得到一个$n\times m$的雅克比矩阵。这种写法是规范的，典型的例子：
$$\frac{\partial Ax}{\partial x^T}=A\text{\hspace{1em}(4)}$$
反之，一个行向量函数也可以对列向量求导，结果为之前的转置：
$$\frac{\partial F^T}{\partial x}={\left(\frac{\partial F}{\partial x^T}\right)}^T\text{\hspace{1em}(5)}$$