矩阵微积分详解-优快云博客

本文链接：https://blog.youkuaiyun.com/sunqin_csdn/article/details/121437776

这篇博客详细介绍了矩阵微积分的基本概念和规则，包括标量、向量和矩阵的导数类型，如标量对向量、向量对向量的导数，以及特殊的向量化的标量函数和Hessian矩阵。此外，还探讨了转置向量的导数、张量的处理和梯度的计算，例如L2范数的梯度。文章强调在求导过程中保持顺序的重要性，并提供了多个示例以加深理解。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章作者：Sourya Dey
发表时间： 01 April 2019.
原文：https://www.researchgate.net/publication/332131671_Matrix_Calculus

1. 符号

标量用小写字符表示。
向量用小写的粗体字符表示，如 $\mathbf{x}$ ，可以是行（ $\times n$ ）或列（ $\times 1$ ）。列向量是默认的选择，除非另有说明。它的元素有下标索引，如 $x_i~\big(i \in \{1, ..., n\}\big)$
矩阵用大写的粗体字符表示，如 $\mathbf{X}$ ，其维度为 $\times n$ ，对应 $m$ 行以及 $n$ 列。其中的元素由由行和列的双重下标索引表示，如 $\mathbf{X}_{ij} \big( i \in \{1,...,m\},~~j \in \{1,...,n\}\big)$ 。
偶尔会出现高阶张量，例如维度尺寸为 $\times n \times p$ 的3阶的，等等。

注意一个矩阵是2阶的张量。一个行向量是只有一行的矩阵，一个列向量是只有一列的矩阵。一个标量是一行一列的矩阵。本质上，标量和向量是矩阵的特殊例子。
$f$ 相对于 $x$ 的倒数是 $\frac{\partial f}{\partial x}$ 。 $f$ 和 $x$ 可以是标量，向量或者矩阵，得到了9种类型的导数。 $f$ 关于 $x$ 的梯度是 $\nabla_x f = \big(\frac{\partial f}{\partial x}\big)^T$ ，即梯度是导数的转置。域中任何点 $x_0$ 的梯度都有物理解释，它的方向是在点 $x_0$ 处使 $f$ 增加最大的方向，而且其幅度是该方向的增加速度。当 $x$ 是标量时，我们通常不会处理梯度。

译者注：
1，[w.r.t. : with respect to 的缩写。意为关于；谈及，谈到。]
2，[i.e. : 也就是，亦即（源自拉丁文id est），换而言之。]
3，下面提到的关于 numerator layout convention 和 denominator layout convention 的区别在 https://en.wikipedia.org/wiki/Matrix_calculus 上（尤其是Notation部分）有提到（1，布局并没有统一的标准；2，不仅仅只有这两种布局；3，最佳的使用策略是与前面的布局保持一致，而不是只使用某一种布局），并且它们还在后面总结了二者求导结果形式的差别，我给“盗”过来了，为了不影响阅读，我把它放到附录章节。

2. 基本规则

本文遵循分子布局的习惯（numerator layout convention）。还有另一个分母布局的习惯（denominator layout convention），其中的一些结果是转置的。不要混用不同的布局习惯。

我们首先描述最常用的矩阵-矩阵的导数类型。它是所有其他类型的简化，因为标量和向量是矩阵的特殊情况。对于一个将 $\times n$ 的矩阵映射到 $\times q$ 的函数 $\mathbf{F}(\cdot)$ ，即 $\subset \mathbb{R}^{m \times n}$ 和 $\subset \mathbb{R}^{p \times q}$ 。所以， $\mathbf{F}(\cdot)~: \underset{m \times n}{\mathbf{X}} \rightarrow \underset {p \times q}{\mathbf{F(X)}}$ 。它的导数 $\frac{\partial \mathbf{F}}{\partial \mathbf{X}}$ 是一个维度为 $\times q \times n \times m$ 的4阶张量。这是一个维度为 $\times m$ （分母 $\mathbf{X}$ 的转置维度）的 outer matrix，其中每个元素是一个 $\times q$ 的 inner matrix （与分子 $\mathbf{F}$ 相同的维度）。如下所示：

$\frac{\partial \mathbf{F}}{\partial \mathbf{X}} = \left[\begin{matrix} \frac{\partial \mathbf{F}}{\partial X_{1,1}} & \cdots & \frac{\partial \mathbf{F}}{\partial X_{m,1}} \\ \vdots & \ddots & \vdots \\ \frac{\partial \mathbf{F}}{\partial X_{1,n}} & \cdots & \frac{\partial \mathbf{F}}{\partial X_{m,n}} \end{matrix}\right] \tag{1a}$

它有 $n$ 行和 $m$ 列，且第 $(i, j)$ 个元素为：

$\frac{\partial \mathbf{F}}{\partial X_{i,j}} = \left[\begin{matrix} \frac{\partial F_{1,1}}{\partial X_{i,j}} & \cdots & \frac{\partial F_{1,q}}{\partial X_{i,j}} \\ \vdots & \ddots & \vdots \\ \frac{\partial F_{p,1}}{\partial X_{i,j}} & \cdots & \frac{\partial F_{p,q}}{\partial X_{i,j}} \end{matrix}\right] \tag{1b}$

它有 $p$ 行和 $q$ 列。

哇！现在就是这样，让我们来到一些一般规则（对于以下， $x$ 和 $y$ 可以表示标量，矢量或矩阵）：

导数 $\frac{\partial y}{\partial x}$ 总是有 outer matrix 维度 = 分母 $x$ 的转置的维度，而且其中元素（inner matrix）的维度 = 分子 $y$ 的相同维度。如果你做计算发现得出的维度不对，那么结果是不正确的。
导数通常都遵循链式法则，即 $\frac{\partial f(g(x))}{\partial x} = \frac{\partial f(g(x))}{\partial g(x)} \frac{\partial g(x)}{\partial x}$
导数通常遵循积的求导法则，即 $\frac{\partial f(x) g(x)}{\partial x} = f(x) \frac{\partial g(x)}{\partial x} + g(x) \frac{\partial f(x)}{\partial x}$

3. 导数类型

3.1 标量对标量（求导）

这里没有什么特别的。导数是标量，而且也可以被写作 $f^{'} (x)$ 。例如，如果 $\sin x$ 那么 $\cos(x)$

3.2 标量对向量（求导）

$f(\cdot): \underset {m \times 1}{\mathbf{x}} \rightarrow \underset {1 \times 1}{f(\mathbf{x})}$ 对此，导数是一个 $\times m$ 的行向量：

$\frac{\partial f}{\partial \mathbf{x}} = \left[\begin{matrix} \frac{\partial f}{\partial x_1} & \frac{\partial f}{\partial x_2} & \cdots & \frac{\partial f}{\partial x_m} \end{matrix}\right] \tag{2}$

梯度 $\nabla_\mathbf{x} f$ 是它转置后的列向量。

3.3 向量对标量（求导）

$f(\cdot): \underset {1 \times 1}{\mathbf{x}} \rightarrow \underset {n \times 1}{f(\mathbf{x})}$ 对此，导数是一个 $\times 1$ 的列向量：

$\frac{\partial \mathbf{f}}{\partial x} = \left[\begin{matrix} \frac{\partial f_1}{\partial x} \\ \frac{\partial f_2}{\partial x} \\ \vdots \\ \frac{\partial f_n}{\partial x} \end{matrix}\right] \tag{3}$

3.4 向量对向量（求导）

$f(\cdot): \underset {m \times 1}{\mathbf{x}} \rightarrow \underset {n \times 1}{\mathbf{f(x)}}$ 对此，导数，也是众所周知的雅可比 是一个 $\times m$ 维的矩阵。它的第 $(i, j)$ 个元素是第 $i$ 个输出成分关于第 $j$ 个输入成分的标量导数，即：

$\frac{\partial \mathbf{f}}{\partial \mathbf{x}} = \left[\begin{matrix} \frac{\partial f_{1}}{\partial x_{1}} & \cdots & \frac{\partial f_{1}}{\partial x_{m}} \\ \vdots & \ddots & \vdots \\ \frac{\partial f_{n}}{\partial x_{1}} & \cdots & \frac{\partial f_{n}}{\partial x_{m}} \end{matrix}\right] \tag{4}$

3.4.1 特殊的例子——向量化的标量函数

这是一个标量-标量函数应用到逐元素形成一个向量，而且它由 $~f(\cdot): \underset {m \times 1}{\mathbf{x}} \rightarrow f(\mathbf{x})~$ 表示。例如：

$f\left(\left[\begin{matrix}x_1 \\ x_2 \\ \vdots \\ x_m \end{matrix}\right]\right) = \left[\begin{matrix}f(x_1) \\ f(x_2) \\ \vdots \\ f(x_m) \end{matrix}\right]\tag{5}$

在这个例子中，导数和梯度都是相同的 $\times m$ 的对角矩阵，如下所示：

$\nabla_x f = \frac{\partial \mathbf{f}}{\partial \mathbf{x}} = \left[\begin{matrix} f'(x_1) & ~ & ~ & 0 \\ ~ & f'(x_2) & ~ & ~ \\ ~ & ~ & \ddots & ~ \\ 0 & ~ & ~ & f'(x_m) \end{matrix}\right] \tag{6}$

其中 $f'(x_i) = \frac{\partial f(x_i)}{\partial x_i}$

注意：一些教材通过采用逐元素的导数来获取 $\times 1$ 向量来计算向量化的标量函数的导数。为了避免与（6）混淆，我们将它表示为 $f'(\mathbf{x})$ 。

$f'(\mathbf{x}) = \left[\begin{matrix}f'(x_1) \\ f'(x_2) \\ \vdots \\ f'(x_m) \end{matrix}\right]\tag{7}$

为了实现上述效果，我们说我们用 $m$ 维的向量 $\mathbf{a}$ 乘以（6）中的梯度，将会得到：

$(\nabla_x f) \mathbf{a} = \left[\begin{matrix}f'(x_1) a_1 \\ f'(x_2) a_2 \\ \vdots \\ f'(x_m) a_m \end{matrix}\right] \tag{8}$

要实现与（7）中 $f'(\mathbf{x})$ 相同的结果，需要 Hadamard product $\circ$ ，定义为两个向量的逐元素相乘：

$f'(\mathbf{x}) \circ \mathbf{a} = \left[\begin{matrix}f'(x_1) a_1 \\ f'(x_2) a_2 \\ \vdots \\ f'(x_m) a_m \end{matrix}\right] \tag{9}$

3.4.2 特殊的例子——Hessian

考虑到3.2中函数的类型，即 $f(\cdot): \underset {m \times 1}{\mathbf{x}} \rightarrow \underset {1 \times 1}{f(\mathbf{x})}$ ，它的梯度是一个向量到向量的函数： $\nabla_x f(\cdot) : \underset {m \times 1}{\mathbf{x}} \rightarrow \underset {m \times 1}{\nabla_x f(\mathbf{x}})$ 。它的导数的转置是 Hessian：

$\mathbf{H} = \left[\begin{matrix} \frac{\partial^2 f}{\partial x^2_{1}} & \cdots & \frac{\partial^2 f}{\partial x_{1} \partial x_{m}} \\ \vdots & \ddots & \vdots \\ \frac{\partial^2 f}{\partial x_{m} \partial x_{1}} & \cdots & \frac{\partial^2 f}{\partial x^2_{m}} \end{matrix}\right] \tag{10}$

即 $\mathbf{H} = (\frac{\partial \nabla_x f}{\partial x})^T$ ，它的导数是连续的，那么 $\frac{\partial f}{\partial x_i \partial x_j} = \frac{\partial^2 f}{\partial x_j \partial x_i}$ ，所以 Hessian 是对称的。

3.5 标量对矩阵（求导）

$f(\cdot): \underset {m \times n}{\mathbf{X}} \rightarrow \underset {1 \times 1}{\mathbf{f(X)}}$ ，在这个例子中，导数是 $\times m$ 的矩阵：

$\frac{\partial f}{\partial \mathbf{X}} = \left[\begin{matrix} \frac{\partial f}{\partial X_{1,1}} & \cdots & \frac{\partial f}{\partial X_{m,1}} \\ \vdots & \ddots & \vdots \\ \frac{\partial f}{\partial X_{1,n}} & \cdots & \frac{\partial f}{\partial X_{m,n}} \end{matrix}\right] \tag{11}$

梯度与输入的矩阵具有相同的维度，即 $\times n$ 。

3.6 矩阵对标量（求导）

$f(\cdot): \underset {1 \times 1}{x} \rightarrow \underset {p \times q}{\mathbf{F}(x)}$ ，在这个例子中，导数是一个 $\times q$ 的矩阵：

$\frac{\partial \mathbf{F}}{\partial x} = \left[\begin{matrix} \frac{\partial F_{1,1}}{\partial x} & \cdots & \frac{\partial F_{1,q}}{\partial x} \\ \vdots & \ddots & \vdots \\ \frac{\partial F_{p, 1}}{\partial x} & \cdots & \frac{\partial F_{p,q}}{\partial x} \end{matrix}\right] \tag{12}$

3.7 向量对矩阵（求导）

$f(\cdot): \underset {m \times n}{\mathbf{X}} \rightarrow \underset {p \times 1}{\mathbf{f(X)}}$ 。在这个例子中，导数是一个维度为 $\times n \times m$ 的三阶张量。这与式（11）中的 $\times n$ 的矩阵相同，但是用 $f$ 代替 $p$ 维向量 $\mathbf{f}$ ，即：

$\frac{\partial \mathbf{f}}{\partial \mathbf{X}} = \left[\begin{matrix} \frac{\partial \mathbf{f}}{\partial X_{1,1}} & \cdots & \frac{\partial \mathbf{f}}{\partial X_{m,1}} \\ \vdots & \ddots & \vdots \\ \frac{\partial \mathbf{f}}{\partial X_{1,n}} & \cdots & \frac{\partial \mathbf{f}}{\partial X_{m,n}} \end{matrix}\right]\tag{13}$

3.8 矩阵对向量（求导）

$f(\cdot): \underset {m \times 1}{\mathbf{x}} \rightarrow \underset {p \times q}{\mathbf{F(x)}}$ 。在这个例子中，导数是一个维度为 $\times q \times m$ 的三阶张量。这与式（2）中的 $\times 1$ 的行向量相同，但是用 $f$ 代替 $\times q$ 的矩阵 $\mathbf{F}$ ，即：

$\frac{\partial \mathbf{F}}{\partial \mathbf{x}} = \left[\begin{matrix} \frac{\partial \mathbf{F}}{\partial x_1} & \frac{\partial \mathbf{F}}{\partial x_2} & \cdots & \frac{\partial \mathbf{F}}{\partial x_m} \end{matrix}\right]\tag{14}$

4. 操作和例子

4.1 Commutation

如果事情通常不可交换（例如矩阵， $\neq BA$ ），则应在求导时保持顺序。如果事物可交换（例如向量内积， $\mathbf{a \cdot b = b \cdot a}$ ），他们的顺序在求导时可以被切换。输出维度必须总是对的。

例如，令 $\mathbf{f(x)} = (\underset {1 \times m}{\mathbf{a}^T} ~ \underset{m \times 1}{\mathbf{x}}) \underset {n \times 1}{\mathbf{b}}$ 。导数 $\frac{\partial \mathbf{f}}{\partial \mathbf{x}}$ 应该是一个 $\times n$ 的矩阵。保持顺序不变，我们有 $\mathbf{\frac{\partial f}{\partial x} = a^T \frac{\partial x}{\partial x} b = a^T I b = a^T b}$ 。这是一个标量，它是错的！为什么呢？注意 $(\mathbf{a^T x})$ 是一个标量，它可以位于 $\mathbf{b}$ 的左边也可以是右边。即，顺序不重要。重写 $\mathbf{f(x) = b(a^T x)}$ ，我们有 $\mathbf{\frac{\partial f}{\partial x} = ba^T \frac{\partial x}{\partial x} = ba^T I = ba^T}$ ，这是正确的 $\times m$ 矩阵。

如果这似乎令人困惑，那么采取 $m$ 和 $n$ 值的简单示例可能是有用的，并以（4）所示以矩阵形式写出全导数。得到的矩阵将是 $\mathbf{ba}^T$ 。

4.2 转置向量的导数

转置向量对它自身的导数是单位矩阵，but the transpose gets applied to everything after（但是转置这个操作要放到最后才进行？）。例如，令 $f(\mathbf{w}) = (y - \mathbf{w}^T \mathbf{x})^2 = y^2 - \mathbf{(w^Tx)} y - y(\mathbf{w^T x}) + (\mathbf{w^T x})(\mathbf{w^T x})$ ，其中 $y$ 和 $\mathbf{x}$ 不是 $\mathbf{w}$ 的函数。对各项分别求导：

$\frac{\partial y^2}{\partial \mathbf{w}} = \mathbf{0}^T$ ，即
$\frac{\partial \mathbf{(w^T x)}y}{\partial \mathbf{w}} = \frac{\partial \mathbf{w}^T}{\partial \mathbf{w}} \mathbf{x}y = (\mathbf{x}y)^T = y^T \mathbf{x}^T$ ，因为 $y$ 是一个标量，所以可以简化为 $y\mathbf{x}^T$
$\frac{\partial y (\mathbf{w^T x})}{\partial \mathbf{w}} = y \frac{\partial \mathbf{w}^T}{\partial \mathbf{w}} \mathbf{x} = y \mathbf{x}^T$
$\frac{\partial \mathbf{(w^Tx)(w^T x)}}{\partial \mathbf{w}} = \frac{\partial \mathbf{w}^T}{\partial \mathbf{w}} \mathbf{x(w^T x) + (w^T x)\frac{\partial w^T}{\partial w}x} = \mathbf{(x^T w)x^T} + \mathbf{(w^T x)x^T}$ 。因为向量内积可交换，所以结果为 $2\mathbf{(w^T x)x^T}$

所以 $\frac{\partial f}{\partial \mathbf{w}} = -2y\mathbf{x}^T + 2\mathbf{(w^T x)x^T}$

4.3 处理张量

一个维度为 $\times q \times n \times m$ 的张量（如（1）中所示）就像普通的矩阵一样可以被向量先乘和后乘。这些向量必须与维度为 $\times q$ 的 inner matrices 兼容，即，对于每个inner matrix，先乘以一个 $\times p$ 的行向量然后后乘以一个 $\times 1$ 的列向量得到一个标量。这最终得到一个维度为 $\times m$ 的矩阵。

例子： $f(\mathbf{W}) = \underset{1 \times m}{\mathbf{a}^T} ~~\underset{m \times n}{\mathbf{W}} ~~\underset{n \times 1}{\mathbf{b}}$ 。这是一个标量，所以 $\frac{\partial f}{\partial \mathbf{W}}$ 应该是一个转置的维度与 $\mathbf{W}$ 相同（即 $\times m$ ）的矩阵。现在 $\frac{\partial f}{\partial \mathbf{W}} = \mathbf{a}^T \frac{\partial \mathbf{W}}{\partial \mathbf{W}} \mathbf{b}$ ，其中 $\frac{\partial \mathbf{W}}{\partial \mathbf{W}}$ 的维度为 $\times n \times n \times m$ 。例如，如果 $m = 3, n = 2$ ，那么：

$\frac{\partial \mathbf{W}}{\partial \mathbf{W}} = \left[\begin{matrix} \left[\begin{matrix} 1 & 0 \\ 0 & 0 \\ 0 & 0 \end{matrix}\right] & \left[\begin{matrix} 0 & 0 \\ 1 & 0 \\ 0 & 0 \end{matrix}\right] & \left[\begin{matrix} 0 & 0 \\ 0 & 0 \\ 1 & 0 \end{matrix}\right] \\ \\ \left[\begin{matrix} 0 & 1 \\ 0 & 0 \\ 0 & 0 \end{matrix}\right] & \left[\begin{matrix} 0 & 0 \\ 0 & 1 \\ 0 & 0 \end{matrix}\right] & \left[\begin{matrix} 0 & 0 \\ 0 & 0 \\ 0 & 1 \end{matrix}\right] \end{matrix}\right] \tag{15}$

注意第 $(i, j)$ 个 inner matrix 有一个 1 在它的 $(i, j)$ 位置。先以给定的 $a_jb_i$ 将 $\mathbf{a}^T$ 和 $\mathbf{b}$ 分别先乘和后乘第 $(i, j)$ 个inner matrix，其中 $\in \{1,2\}$ 且 $\in \{1,2,3\}$ 。所以：

$\mathbf{a}^T \frac{\partial \mathbf{W}}{\partial \mathbf{W}} \mathbf{b} = \left[\begin{matrix} a_1b_1 & a_2b_1 & a_3b_1 \\ a_1b_2 & a_2b_2 & a_3b_2 \end{matrix}\right] \tag{16}$

因此， $\frac{\partial f}{\partial \mathbf{W}} = \mathbf{ba^T}$

4.4 梯度的例子： L2 Norm

问题：给定 $f(\mathbf{x}) = ||\mathbf{x - a}||_2$ ，求 $\nabla_x f$
注意 $||\mathbf{x - a}||_2 = \sqrt{(\mathbf{x-a})^T(\mathbf{x-a})}$ ，是一个标量。所以导数是一个行向量，梯度是一个与 $\mathbf{x}$ 具有相同维度的列向量。我们使用链式法则：

$\frac{\partial f}{\partial \mathbf{x}} = \frac{\partial \sqrt{(\mathbf{x-a})^T (\mathbf{x-a})}}{\partial( \mathbf{x-a})^T (\mathbf{x-a})} \times \frac{\partial (\mathbf{x-a})^T (\mathbf{x-a})}{\partial \mathbf{x}} \tag{17}$

第一项是标量对标量的导数，等于 $\frac{1}{2\sqrt{(\mathbf{x-a})^T (\mathbf{x-a})}}$ 。第二项是：

$\frac{\partial (\mathbf{x-a})^T (\mathbf{x-a})}{\partial \mathbf{x}} = \frac{\partial (\mathbf{x^Tx - a^Tx - x^Ta + a^Ta})}{\partial \mathbf{x}} = \mathbf{x^T + x^T - a^T - a^T + 0^T} = 2(\mathbf{x^T - a^T}) \tag{18}$

所以 $\frac{\partial f}{\partial \mathbf{x}} = \frac{\mathbf{x^T - a^T}}{\sqrt{\mathbf{(x-a)^T(x-a)}}}$ 。

所以 $\nabla_x f = \frac{\mathbf{x - a}}{||\mathbf{x - a}||_2}$ ，是一个基本的从 $\mathbf{a}$ 到 $\mathbf{x}$ 的单位位移矢量。这意味着得到 $f(\mathbf{x})$ 中的最大增量，应该将 $\mathbf{a}$ 从 $\mathbf{a}$ 到 $\mathbf{x}$ 的直线移动。另外，为了得到 $f(\mathbf{x})$ 中的最大减小量，应该朝 $\mathbf{x}$ 到 $\mathbf{a}$ 的方向移动，这在几何上说得通。