28、矩阵微积分：理论、应用与证明

矩阵微积分：理论、应用与证明

1. 矩阵微积分基础

在矩阵微积分中，我们常常处理矩阵和向量的微分运算。设 (C) 是一个 (m \times n) 矩阵，对于函数 (f) 的二阶微分 (d^2f) 是一个较为复杂的部分。我们定义 (B_i := Hf_i(x) = \frac{\partial^2f_i(x)}{\partial x\partial x’})（(i = 1, \ldots, m)），这里 (B_i) 是对称矩阵，因为它是 (f_i(x)) 的海森矩阵。(d^2f) 是一个 (m \times 1) 向量，其第 (i) 个分量等于 ((dx)’B_i(dx))。

若 (g(x) := Af(x))，则 (d^2\phi) 的计算如下：
[
\begin{align }
d^2\phi &= 2(df)’A df + 2f’A d^2f\
&= 2(dx)’C’AC(dx) + 2g(x)’
\begin{pmatrix}
(dx)’B_1(dx)\
\vdots\
(dx)’B_m(dx)
\end{pmatrix}\
&= 2(dx)’
\left(
C’AC + \sum_{i} g_i(x)B_i(x)
\right)
(dx)
\end{align }
]
由此可得海森矩阵 (H\phi(x) = 2
\left(
C’AC + \sum_{i} g_i(x)B_i(x)
\right))。

在矩阵微积分中，我们尽量