28、矩阵微积分：从基础到应用

矩阵微积分：从基础到应用

1. 矩阵微积分基础

在矩阵微积分中，我们常常会遇到各种复杂的计算。假设 (C) 是一个 (m × n) 矩阵，其中 (d^2f) 的计算是比较棘手的部分。我们定义 (B_i := Hf_i(x) = \frac{\partial^2f_i(x)}{\partial x\partial x’})（(i = 1, \ldots, m)），由于 (B_i) 是 (f_i(x)) 的海森矩阵，所以它必定是对称的。此时，(d^2f) 是一个 (m × 1) 的向量，其第 (i) 个分量等于 ((dx)’B_i(dx))。

设 (g(x) := Af(x))，经过一系列推导可以得到：
[
\begin{align }
d^2\phi &= 2(df)’A df + 2f’A d^2f\
&= 2(dx)’C’AC(dx) + 2g(x)’
\begin{pmatrix}
(dx)’B_1(dx)\
\vdots\
(dx)’B_m(dx)
\end{pmatrix}\
&= 2(dx)’
\left(
C’AC +
\sum_{i}
g_i(x)B_i(x)
\right)
(dx)
\end{align }
]
进而得到海森矩阵 (H\phi(x) = 2
\left(
C’AC +
\sum_{i}
g_i(x)B_i(x)
\right))。

需要注意的是，在矩阵微积分里，我们