线性代数 · 矩阵 | 向量微分计算及应用

注：本文为 “矩阵 | 向量微分计算” 相关合辑。
略作重排，如有内容异常，请看原文。

---

矩阵与向量微分计算

一、基础定义

（一）梯度（Gradient）

标量对列向量的微分。设 $f(x)$ 为标量函数，其中 $x=(x_1,x_2,\dots ,x_N{)}^T$ 是 $N\times 1$ 列向量。定义 $f(x)$ 对 $x$ 的梯度为列向量形式：
$$\frac{\partial f(x)}{\partial x}=\left(\begin{array}{c}\frac{\partial f(x)}{\partial x_1}\\ \frac{\partial f(x)}{\partial x_2}\\ ⋮\\ \frac{\partial f(x)}{\partial x_N}\end{array}\right)$$
梯度的转置为行向量，满足：
$${\left(\frac{\partial f(x)}{\partial x}\right)}^T=\frac{\partial f(x)}{\partial x^T}=\left(\frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},\dots ,\frac{\partial f(x)}{\partial x_N}\right)$$

（二）海塞矩阵（Hessian Matrix）

海塞矩阵是二阶梯度。设 $f(x)$ 为二阶可微标量函数，$x=(x_1,x_2,\dots ,x_N{)}^T$。定义 $f(x)$ 对 $x$ 的海塞矩阵为二阶偏导数构成的方阵：
$$\frac{{\partial }^{2}f(x)}{\partial x\partial x^T}=\left(\begin{array}{cccc}\frac{{\partial }^{2}f(x)}{\partial x_1^2}& \frac{{\partial }^{2}f(x)}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f(x)}{\partial x_1\partial x_N}\\ \frac{{\partial }^{2}f(x)}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f(x)}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f(x)}{\partial x_2\partial x_N}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f(x)}{\partial x_N\partial x_1}& \frac{{\partial }^{2}f(x)}{\partial x_N\partial x_2}& \cdots & \frac{{\partial }^{2}f(x)}{\partial x_N^2}\end{array}\right)$$
海塞矩阵为对称矩阵，即 $\frac{{\partial }^{2}f(x)}{\partial x_i\partial x_j}=\frac{{\partial }^{2}f(x)}{\partial x_j\partial x_i}$。

（三）雅可比矩阵（Jacobian Matrix）

雅可比矩阵本质上是一阶梯度，向量对向量微分。设 $f(x)$ 为 $K\times 1$ 列向量函数，$x=(x_1,x_2,\dots ,x_L{)}^T$ 为 $L\times 1$ 列向量，其中：
$$f(x)=\left(\begin{array}{c}{f}_1(x)\\ f_2(x)\\ ⋮\\ f_K(x)\end{array}\right)$$
定义 $f(x)$ 对 $x^T$ 的雅可比矩阵为 $K\times L$ 矩阵：
$$\frac{\partial f(x)}{\partial x^T}=\left(\begin{array}{cccc}\frac{\partial f_1(x)}{\partial x_1}& \frac{\partial f_1(x)}{\partial x_2}& \cdots & \frac{\partial f_1(x)}{\partial x_L}\\ \frac{\partial f_2(x)}{\partial x_1}& \frac{\partial f_2(x)}{\partial x_2}& \cdots & \frac{\partial f_2(x)}{\partial x_L}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f_K(x)}{\partial x_1}& \frac{\partial f_K(x)}{\partial x_2}& \cdots & \frac{\partial f_K(x)}{\partial x_L}\end{array}\right)$$

（四）矩阵对标量微分

设 $A$ 为 $M\times N$ 矩阵，其元素 $a_{ij}$ 是标量变量 $x_q$（或 $x_p,x_q$）的函数。定义一阶偏导数和二阶偏导数分别为：
$$\frac{\partial A}{\partial x_q}=\left(\begin{array}{ccc}\frac{\partial a_{11}}{\partial x_q}& \cdots & \frac{\partial a_{1N}}{\partial x_q}\\ ⋮& \ddots & ⋮\\ \frac{\partial a_{M1}}{\partial x_q}& \cdots & \frac{\partial a_{MN}}{\partial x_q}\end{array}\right)$$
$$\frac{{\partial }^{2}A}{\partial x_p\partial x_q}=\left(\begin{array}{ccc}\frac{{\partial }^2{a}_{11}}{\partial x_p\partial x_q}& \cdots & \frac{{\partial }^2{a}_{1N}}{\partial x_p\partial x_q}\\ ⋮& \ddots & ⋮\\ \frac{{\partial }^2{a}_{M1}}{\partial x_p\partial x_q}& \cdots & \frac{{\partial }^2{a}_{MN}}{\partial x_p\partial x_q}\end{array}\right)$$

二、定理

（一）矩阵乘积微分定理

设 $A$ 为 $K\times M$ 矩阵，$B$ 为 $M\times L$ 矩阵，且 $C=AB$。若 $A$ 和 $B$ 的元素均为标量变量 $x_p$ 的函数，则：
$$\frac{\partial C}{\partial x_p}=\frac{\partial A}{\partial x_p}B+A\frac{\partial B}{\partial x_p}$$
证明：由矩阵乘法定义，$C$ 的元素 $c_{k\ell }=\sum _{m=1}^M{a}_{km}{b}_{m\ell }$。对 $x_p$ 求偏导：
$$\frac{\partial c_{k\ell }}{\partial x_p}=\sum _{m=1}^M\left(\frac{\partial a_{km}}{\partial x_p}{b}_{m\ell }+a_{km}\frac{\partial b_{m\ell }}{\partial x_p}\right)$$
按矩阵元素排列规则，即得
$$\frac{\partial C}{\partial x_p}=\frac{\partial A}{\partial x_p}B+A\frac{\partial B}{\partial x_p}$$

（二）逆矩阵微分定理

设 $A$ 为 $N\times N$ 非奇异方阵（行列式不为 0），其元素为标量变量 $x_q$ 的函数，则 $A^{-1}$ 的一阶和二阶偏导数分别为：
$$\begin{array}{rl}\frac{\partial A^{-1}}{\partial x_q}& =-A^{-1}\frac{\partial A}{\partial x_q}{A}^{-1},\\ \frac{{\partial }^2{A}^{-1}}{\partial x_p\partial x_q}& =A^{-1}\left(\frac{\partial A}{\partial x_p}{A}^{-1}\frac{\partial A}{\partial x_q}-\frac{{\partial }^{2}A}{\partial x_p\partial x_q}+\frac{\partial A}{\partial x_q}{A}^{-1}\frac{\partial A}{\partial x_p}\right)A^{-1}.\end{array}$$

定理证明

一阶偏导数证明

已知方阵 $A$ 满足 $A{A}^{-1}=I$（$I$ 为单位矩阵）。
对等式两端关于标量变量 $x_q$ 求偏导，根据乘积微分法则可得：
$$A\frac{\partial A^{-1}}{\partial x_q}+\frac{\partial A}{\partial x_q}{A}^{-1}=\frac{\partial I}{\partial x_q}$$
由于单位矩阵 $I$ 的元素均为常数，其对任意变量的偏导数为零矩阵 $O$，因此：
$$A\frac{\partial A^{-1}}{\partial x_q}+\frac{\partial A}{\partial x_q}{A}^{-1}=O$$
等式两端同时左乘 $A^{-1}$，整理后得到一阶偏导数公式：
$$\frac{\partial A^{-1}}{\partial x_q}=-A^{-1}\frac{\partial A}{\partial x_q}{A}^{-1}$$

二阶混合偏导数证明

对一阶偏导数公式关于标量变量 $x_p$ 再次求偏导，即：
$$\frac{{\partial }^2{A}^{-1}}{\partial x_p\partial x_q}=-\frac{\partial }{\partial x_p}\left(A^{-1}\frac{\partial A}{\partial x_q}{A}^{-1}\right)$$
根据乘积微分法则展开右边，可得：
$$\frac{{\partial }^2{A}^{-1}}{\partial x_p\partial x_q}=-\frac{\partial A^{-1}}{\partial x_p}\frac{\partial A}{\partial x_q}{A}^{-1}-A^{-1}\frac{{\partial }^{2}A}{\partial x_p\partial x_q}{A}^{-1}-A^{-1}\frac{\partial A}{\partial x_q}\frac{\partial A^{-1}}{\partial x_p}$$
将一阶偏导数公式 $\frac{\partial A^{-1}}{\partial x_p}=-A^{-1}\frac{\partial A}{\partial x_p}{A}^{-1}$ 代入上式，化简后得到二阶混合偏导数公式：
$$\frac{{\partial }^2{A}^{-1}}{\partial x_p\partial x_q}=A^{-1}\left(\frac{\partial A}{\partial x_p}{A}^{-1}\frac{\partial A}{\partial x_q}-\frac{{\partial }^{2}A}{\partial x_p\partial x_q}+\frac{\partial A}{\partial x_q}{A}^{-1}\frac{\partial A}{\partial x_p}\right)A^{-1}$$

说明

• 逆矩阵及偏导数存在的前提是 $A$ 为 $N\times N$ 非奇异方阵，即行列式不为 0，否则逆矩阵 $A^{-1}$ 不存在，相关偏导数也无法推导。
• 若 $A$ 为 $M\times N$ 非方阵（$M\ne N$），则不符合逆矩阵的定义要求，且不具备方阵的乘法封闭性、行列式等运算性质，因此不存在逆矩阵 $A^{-1}$，其偏导数更无从谈起。
• 逆矩阵的偏导数计算依赖 $A{A}^{-1}=I$ 的基本关系和乘积微分法则，一阶偏导数是二阶偏导数推导的基础。

三、典型函数微分示例

（一）二次函数微分

设二次函数 $f(x)=x^{\mathrm{T}}Vx$，其中 $x=(x_1,x_2,\dots ,x_k{)}^{\mathrm{T}}$ 是 $k\times 1$ 列向量，$V=(V_{ij}{)}_{k\times k}$ 是 $k\times k$ 矩阵。展开函数得：
$$f(x)=\sum _{i=1}^k{V}_{ii}{x}_i^2+\sum _{1\le i<j\le k}(V_{ij}+V_{ji})x_i{x}_j$$
对 $x$ 求梯度：
$$\frac{\partial f(x)}{\partial x}=(V+V^{\mathrm{T}})x$$

展开与微分推导

1. 展开 $f(x)$：

   • 通过矩阵乘法的“行乘列”规则，将二次型 $x^{\mathrm{T}}Vx$ 转化为代数多项式。
   • 计算 $Vx$：$(Vx{)}_i={\sum }_{j=1}^k{V}_{ij}{x}_j$。
   • 计算 $x^{\mathrm{T}}(Vx)$：$x^{\mathrm{T}}Vx={\sum }_{i=1}^k{\sum }_{j=1}^k{V}_{ij}{x}_i{x}_j$。
   • 拆分双重求和：
     • 对角线项（$i=j$）：${\sum }_{i=1}^k{V}_{ii}{x}_i^2$
     • 交叉项（$i\ne j$）：${\sum }_{1\le i<j\le k}(V_{ij}+V_{ji})x_i{x}_j$

2. 微分推导：

   • 对 $f(x)$ 关于 $x$ 求偏导：
     $$\frac{\partial f(x)}{\partial x}=(V+V^{\mathrm{T}})x$$
   • 以 $k=3$ 为例：
     • 设 $\beta =({\beta }_1,{\beta }_2,{\beta }_3{)}^{\mathrm{T}}$，$V=\left(\begin{array}{ccc}{V}_{11}& V_{12}& V_{13}\\ V_{21}& V_{22}& V_{23}\\ V_{31}& V_{32}& V_{33}\end{array}\right)$。
     • 展开 ${\beta }^{\mathrm{T}}V\beta$：
       $${\beta }^{\mathrm{T}}V\beta =V_{11}{\beta }_1^2+V_{22}{\beta }_2^2+V_{33}{\beta }_3^2+(V_{12}+V_{21}){\beta }_1{\beta }_2+(V_{13}+V_{31}){\beta }_1{\beta }_3+(V_{23}+V_{32}){\beta }_2{\beta }_3$$
     • 求偏导：
       $$\frac{\partial ({\beta }^{\mathrm{T}}V\beta )}{\partial \beta }=\left(\begin{array}{ccc}2V_{11}& V_{12}+V_{21}& V_{13}+V_{31}\\ V_{12}+V_{21}& 2V_{22}& V_{23}+V_{32}\\ V_{13}+V_{31}& V_{23}+V_{32}& 2V_{33}\end{array}\right)\left(\begin{array}{c}{\beta }_1\\ {\beta }_2\\ {\beta }_3\end{array}\right)=(V+V^{\mathrm{T}})\beta$$

（二）矩阵迹的微分

矩阵的 Frobenius 范数（F 模）与迹满足 $\Vert A{\Vert }_F=\sqrt{\text{tr}(A^{T}A)}$（实矩阵情形），迹的微分在机器学习等领域应用广泛。

矩阵 F 范数与迹的关系

对于 $m\times n$ 矩阵 $A$，F 范数可通过迹运算等价表示：

1. 基本定义：
   $$\Vert A{\Vert }_F=\sqrt{\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2}$$
2. 迹的等价形式：
   $$\Vert A{\Vert }_F=\sqrt{\mathrm{tr}\left(A^{\ast }A\right)}(A^{\ast }\text{为共轭转置})$$
3. 奇异值表示：
   $$\Vert A{\Vert }_F=\sqrt{\sum _{i=1}^{\min (m,n)}{\sigma }_i^2}({\sigma }_i\text{为奇异值})$$
   F 范数的微分可转化为对 $\mathrm{tr}(A^{\ast }A)$ 的微分计算。

矩阵迹的性质：循环置换不变性

定理（循环置换不变性）：
对于可顺序相乘的矩阵 $A,B,C,D$，有：
$$\mathrm{tr}(ABCD)=\mathrm{tr}(BCDA)=\mathrm{tr}(CDAB)=\mathrm{tr}(DABC)$$
此性质是简化矩阵乘积迹运算的基石，尤其在微分计算中可显著降低复杂度。

常用迹函数的微分公式

一阶迹微分

$$\begin{array}{rl}\frac{\partial }{\partial X}\text{tr}(X)& =I\\ \frac{\partial }{\partial X}\text{tr}(XA)& =A^T\\ \frac{\partial }{\partial X}\text{tr}(AXB)& =A^T{B}^T\\ \frac{\partial }{\partial X}\text{tr}(A{X}^{T}B)& =BA\\ \frac{\partial }{\partial X}\text{tr}(X^{T}A)& =A\\ \frac{\partial }{\partial X}\text{tr}(A{X}^T)& =A\\ \frac{\partial }{\partial X}\text{tr}(A\otimes X)& =\text{tr}(A)I\end{array}$$

$\otimes$ 为克罗内克积

二阶迹微分

$$\begin{array}{rl}\frac{\partial }{\partial X}\text{tr}(X^2)& =2X^T\\ \frac{\partial }{\partial X}\text{tr}(X^{2}B)& =(XB+BX{)}^T\\ \frac{\partial }{\partial X}\text{tr}(X^{T}BX)& =BX+B^{T}X\\ \frac{\partial }{\partial X}\text{tr}(BX{X}^T)& =BX+B^{T}X\\ \frac{\partial }{\partial X}\text{tr}(X{X}^{T}B)& =BX+B^{T}X\\ \frac{\partial }{\partial X}\text{tr}(XB{X}^T)& =X{B}^T+XB\\ \frac{\partial }{\partial X}\text{tr}(B{X}^{T}X)& =X{B}^T+XB\\ \frac{\partial }{\partial X}\text{tr}(X^{T}XB)& =X{B}^T+XB\\ \frac{\partial }{\partial X}\text{tr}(AXBX)& =A^T{X}^T{B}^T+B^T{X}^T{A}^T\\ \frac{\partial }{\partial X}\text{tr}(X^{T}X)& =2X\\ \frac{\partial }{\partial X}\text{tr}(B^T{X}^{T}CXB)& =C^{T}XB{B}^T+CXB{B}^T\\ \frac{\partial }{\partial X}\text{tr}[X^{T}BXC]& =BXC+B^{T}X{C}^T\\ \frac{\partial }{\partial X}\text{tr}(AXB{X}^{T}C)& =A^T{C}^{T}X{B}^T+CAXB\\ \frac{\partial }{\partial X}\text{tr}\left[(AXB+C)(AXB+C{)}^T\right]& =2A^T(AXB+C)B^T\\ \frac{\partial }{\partial X}\text{tr}(X\otimes X)& =\frac{\partial }{\partial X}\text{tr}(X)\text{tr}(X)=2\text{tr}(X)I\end{array}$$

高阶迹微分与计算规则

1. 高阶迹微分示例

$$\begin{array}{rl}\frac{\partial }{\partial X}\text{tr}(X^k)& =k(X^{k-1}{)}^T\\ \frac{\partial }{\partial X}\text{tr}(A{X}^k)& =\sum _{r=0}^{k-1}(X^{r}A{X}^{k-r-1}{)}^T\\ \frac{\partial }{\partial X}\text{tr}\left[B^T{X}^{T}CX{X}^{T}B\right]& =CX{X}^{T}CXB{B}^T\\ & +C^{T}XB{B}^T{X}^T{C}^{T}X\\ & +CXB{B}^T{X}^{T}X\\ & +C^{T}X{X}^T{C}^{T}XB{B}^T\end{array}$$

2. 迹微分计算规则

针对迹算子中含矩阵 $X$ 及转置 $X^T$ 的连乘形式（$T_1$、$T_2$、$T_3$ 为任意长度矩阵连乘表达式，可含 $X$），总结通用计算规则如下：

规则总结

• 对 $\text{tr}(T_{1}X{T}_2{X}^T{T}_3)$ 中的每个 $X$（含 $X^T$ 形式）分别求导，结果为各项导数之和。
• 若迹算子中直接出现 $X$，其导数为 $X$ 左侧矩阵乘积的转置与右侧矩阵乘积的转置之积。
• 若迹算子中出现 $X^T$，其导数可简化为 $X^T$ 右侧矩阵乘积与左侧矩阵乘积之积。

规则形式化表述

$$\frac{\partial }{\partial X}\text{tr}(T_{1}X{T}_2{X}^T{T}_3)=T_1^T(T_2{X}^T{T}_3{)}^T+T_3(T_{1}X{T}_2)$$

矩阵乘积的转置性质

多个矩阵乘积的转置，等于各矩阵转置的逆序乘积。

• 任意两个可乘矩阵 $P$ 和 $Q$（$P$ 的列数等于 $Q$ 的行数），它们乘积的转置满足：
  $$(PQ{)}^T=Q^T{P}^T$$
• 推广到多个矩阵的乘积：
  如果有 $n$ 个可乘矩阵 $M_1,M_2,\dots ,M_n$，则它们乘积的转置为：
  $$(M_1{M}_2\cdots M_n{)}^T=M_n^T\cdots M_2^T{M}_1^T$$
  多个矩阵相乘后转置，等价于把每个矩阵先转置，再按原来的相反顺序相乘。

3. 规则推导过程

基于迹微分的线性性（多变量项的迹函数微分等于各变量项单独求导之和），分步推导如下：

1. 对 $X$ 项求导：将 $X$ 视为关键变量，左侧矩阵连乘为 $T_1$，右侧为 $T_2{X}^T{T}_3$。依据基本规则 $\frac{\partial }{\partial X}\text{tr}(AXB)=B^T{A}^T$（$A,B$ 不含当前 $X$），得导数为 $T_1^T(T_2{X}^T{T}_3{)}^T$。
2. 对 $X^T$ 项求导：将 $X^T$ 视为关键变量，左侧矩阵连乘为 $T_{1}X{T}_2$，右侧为 $T_3$。依据扩展规则 $\frac{\partial }{\partial X}\text{tr}(A{X}^{T}B)=B\cdot A$（$A,B$ 不含当前 $X$），得导数为 $T_3(T_{1}X{T}_2)$。
3. 求和得总微分：两项导数相加，即得到形式化表述中的最终公式。

4. 规则实例验证

以 $\frac{\partial }{\partial X}\text{tr}(A{X}^k)$ 为例验证规则有效性：

1. $X^k$ 为 $k$ 个 $X$ 连乘，按规则需对每个 $X$ 分别求导并求和，结果含 $k$ 项。
2. 按规则依次计算各项导数：
   $$\frac{\partial }{\partial X}\text{tr}(A{X}^k)=A^T(X^{k-1}{)}^T+(AX{)}^T(X^{k-2}{)}^T+(A{X}^2{)}^T(X^{k-3}{)}^T+\dots +(A{X}^{k-1}{)}^T$$
3. 整理后得到 $\frac{\partial }{\partial X}\text{tr}(A{X}^k)={\sum }_{r=0}^{k-1}(X^{r}A{X}^{k-r-1}{)}^T$，与已知示例完全一致，验证规则有效。

5. 迹微分的线性性

本质是微分运算与“加法”“数乘”可交换顺序，对应两个关键性质，是拆分复杂迹函数微分的重要依据。

线性性的两个关键性质

1. 加法法则：两个（或多个）迹函数之和的微分，等于各迹函数微分之和。
   $$\frac{\partial }{\partial X}\left[\text{tr}(F(X))+\text{tr}(G(X))\right]=\frac{\partial }{\partial X}\text{tr}(F(X))+\frac{\partial }{\partial X}\text{tr}(G(X))$$
   简单说：先求和再微分，与先微分再求和，结果完全一致。
2. 数乘法则：常数与迹函数乘积的微分，等于常数与该迹函数微分的乘积。
   $$\frac{\partial }{\partial X}\left[c\cdot \text{tr}(F(X))\right]=c\cdot \frac{\partial }{\partial X}\text{tr}(F(X))$$
   简单说：常数可以提到微分符号外面，不影响微分结果（$c$ 为与 $X$ 无关的标量常数）。

线性性在迹微分中的实际应用

之前推导 $\frac{\partial }{\partial X}\text{tr}(T_{1}X{T}_2{X}^T{T}_3)$ 时，正是用到了线性性的关键逻辑：

• 把 $\text{tr}(T_{1}X{T}_2{X}^T{T}_3)$ 看作“含 $X$ 的项”和“含 $X^T$ 的项”的组合（本质是两个相关变量项的隐含求和）。
• 依据加法法则，分别对两个项单独求导，再将结果相加，最终得到总微分。

再比如 $\frac{\partial }{\partial X}\text{tr}(A{X}^k)$，$X^k$ 是 $k$ 个 $X$ 连乘，线性性允许我们对每个 $X$ 分别求导，再把 $k$ 个导数项求和，这是推导该公式的关键步骤。

作用总结

线性性将复杂的“多变量项迹函数微分”，拆解为“单个变量项迹函数微分的叠加”，大幅降低了计算难度。没有线性性，就无法直接拆分含多个 $X$（或 $X^T$）的迹函数，后续的规则推导和实例验证也无从谈起。

四、应用场景

（一）线性回归模型参数估计

模型设定与目标

设线性回归模型为 $Y=X\beta +\epsilon$，其中：

• $Y$ 为 $T\times 1$ 的观测向量；
• $X$ 为 $T\times k$ 的设计矩阵；
• $\beta$ 为 $k\times 1$ 的参数向量；
• $\epsilon$ 为 $T\times 1$ 的误差向量。

最小二乘估计的目标是最小化残差平方和：
$${\hat{\beta }}_{\text{OLS}}=\arg \underset{\beta }{\min }(Y-X\beta {)}^T(Y-X\beta )$$

推导过程

1. 展开残差平方和
   残差平方和可以表示为：
   $${\hat{\epsilon }}^T\hat{\epsilon }=Y^{T}Y-2Y^{T}X\hat{\beta }+{\hat{\beta }}^T{X}^{T}X\hat{\beta }$$

2. 对 $\hat{\beta }$ 求梯度并令其为零
   对 ${\hat{\epsilon }}^T\hat{\epsilon }$ 关于 $\hat{\beta }$ 求梯度：
   $$\frac{\partial ({\hat{\epsilon }}^T\hat{\epsilon })}{\partial \hat{\beta }}=-2X^{T}Y+2X^{T}X\hat{\beta }=0$$

3. 解得参数估计
   解上述方程，得到最小二乘估计量：
   $${\hat{\beta }}_{\text{OLS}}=(X^{T}X{)}^{-1}{X}^{T}Y$$
   前提是 $X$ 列满秩，即 $X^{T}X$ 非奇异。

4. 极值验证
   计算海塞矩阵：
   $$\frac{{\partial }^2({\hat{\epsilon }}^T\hat{\epsilon })}{\partial \hat{\beta }\partial {\hat{\beta }}^T}=2X^{T}X$$
   由于 $X^{T}X$ 是正定矩阵（在 $X$ 列满秩的条件下），因此海塞矩阵为正定矩阵，表明该估计为极小值。

（二）矩阵形式回归模型参数估计

设矩阵形式回归模型为 $Y=XW+E$，其中 $Y$ 为 $T\times K$ 输出矩阵，$X$ 为 $T\times k$ 特征矩阵，$W$ 为 $k\times K$ 权重矩阵，$E=Y-XW$ 为误差矩阵。目标为最小化误差矩阵的 F 模：
$$\underset{W}{\min }\Vert E{\Vert }_F^2=\underset{W}{\min }\text{tr}(E^{T}E)$$
展开迹函数并求微分：
$$\frac{\partial }{\partial W}\text{tr}((Y-XW{)}^T(Y-XW))=-2X^{T}Y+2X^{T}XW$$
令微分等于零，解得权重矩阵：
$$W=(X^{T}X{)}^{-1}{X}^{T}Y$$

五、矩阵与向量求导分类及规则

（一）求导布局

矩阵求导包含两种布局，需根据需求统一使用以避免歧义。

1. 分子布局（Numerator Layout）

若列向量 $y=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right]$ 对标量 $x$ 求导，结果为列向量：
$$\frac{\partial y}{\partial x}=\left[\begin{array}{c}\frac{\partial y_1}{\partial x}\\ \frac{\partial y_2}{\partial x}\\ ⋮\\ \frac{\partial y_m}{\partial x}\end{array}\right]$$

2. 分母布局（Denominator Layout）

同一列向量 $y$ 对标量 $x$ 求导，结果为行向量：
$$\frac{\partial y}{\partial x}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x}& \frac{\partial y_2}{\partial x}& \cdots & \frac{\partial y_m}{\partial x}\end{array}\right]$$
两种布局可相互转换，转换时需保持维度一致性。

（二）向量与矩阵求导分类及规则

向量与矩阵的求导可分为五大类别，各类别定义、公式及结论如下：

1. 标量对向量求导

• 定义：设 $y$ 为标量函数，$x=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$ 为 $n$ 维列向量，导数为与 $x$ 同维度的列向量，由 $y$ 对 $x$ 各元素的偏导数构成。
• 公式：
  • $y=(XU-V{)}^{\top }(XU-V)$，则 $\frac{dy}{dX}=2(XU-V)U^{\top }$
  • $y=x^{\top }Ax$，则 $\frac{dy}{dx}=(A+A^{\top })x$
  • $y=x^{\top }x$（$E$ 为单位矩阵），则 $\frac{dy}{dx}=2Ex=2x$

2. 向量对标量求导

• 定义：设 $y$ 为向量，$x$ 为标量，导数结果与 $y$ 维度相关，与标量对向量求导结果互为转置。
• 结论：向量对标量求导时，结果维度需与原向量保持一致，仅方向随布局调整。

3. 标量对矩阵求导

• 定义：设 $X=(x_{ij}{)}_{m\times n}$ 为 $m\times n$ 矩阵，$f(X)$ 为标量函数，若 $f$ 对 $X$ 所有元素的偏导数存在，则导数为 $m\times n$ 矩阵：
  $$\frac{df}{dX}=\left[\begin{array}{cccc}\frac{\partial f}{\partial x_{11}}& \frac{\partial f}{\partial x_{12}}& \cdots & \frac{\partial f}{\partial x_{1n}}\\ \frac{\partial f}{\partial x_{21}}& \frac{\partial f}{\partial x_{22}}& \cdots & \frac{\partial f}{\partial x_{2n}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f}{\partial x_{m1}}& \frac{\partial f}{\partial x_{m2}}& \cdots & \frac{\partial f}{\partial x_{mn}}\end{array}\right]$$
• 公式：
  • $y=U^{\top }XV$，则 $\frac{dy}{dX}=U{V}^{\top }$
  • $y=U^{\top }{X}^{\top }XU$，则 $\frac{dy}{dX}=2XU{U}^{\top }$

4. 矩阵对标量求导

• 定义：设 $Y=(y_{ij}{)}_{m\times n}$ 为 $m\times n$ 矩阵，$x$ 为标量，导数为 $m\times n$ 矩阵，由 $Y$ 各元素对 $x$ 的偏导数构成：
  $$\frac{\partial Y}{\partial x}=\left[\begin{array}{cccc}\frac{\partial y_{11}}{\partial x}& \frac{\partial y_{12}}{\partial x}& \cdots & \frac{\partial y_{1n}}{\partial x}\\ \frac{\partial y_{21}}{\partial x}& \frac{\partial y_{22}}{\partial x}& \cdots & \frac{\partial y_{2n}}{\partial x}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y_{m1}}{\partial x}& \frac{\partial y_{m2}}{\partial x}& \cdots & \frac{\partial y_{mn}}{\partial x}\end{array}\right]$$

5. 向量对向量求导

• 定义：设 $y=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right]$ 为 $m$ 维列向量，$x=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$ 为 $n$ 维列向量，导数为 $n\times m$ 矩阵：
  $$\frac{\partial y}{\partial x}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_2}{\partial x_1}& \cdots & \frac{\partial y_m}{\partial x_1}\\ \frac{\partial y_1}{\partial x_2}& \frac{\partial y_2}{\partial x_2}& \cdots & \frac{\partial y_m}{\partial x_2}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y_1}{\partial x_n}& \frac{\partial y_2}{\partial x_n}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right]$$
• 特殊情形：
  • 行向量 $Y^{\top }$ 对列向量 $X$ 求导：结果为 $n\times m$ 矩阵，满足 $\frac{d(AX{)}^{\top }}{dX}=A^{\top }$
  • 列向量 $Y$ 对行向量 $X^{\top }$ 求导：转化为行向量 $Y^{\top }$ 对列向量 $X$ 的导数后转置，结果为 $m\times n$ 矩阵

六、拓展求导规则

（一）向量积对列向量求导

$$\frac{d(U{V}^{\top })}{dX}=\left(\frac{dU}{dX}\right)V^{\top }+U\left(\frac{d{V}^{\top }}{dX}\right)$$

（二）矩阵积对列向量求导

$$\frac{d(UV)}{dX}=\left(\frac{dU}{dX}\right)V+U\left(\frac{dV}{dX}\right)$$

• 结论：$\frac{d(XA)}{dX}=A$（$I$ 为单位矩阵，$O$ 为零矩阵）

（三）矩阵对矩阵求导

定义：设 $Y$ 为矩阵，$X$ 为矩阵，导数为“超级矩阵”，由 $Y$ 各元素对 $X$ 所有元素的偏导数按原维度排列构成。

七、求导基本推导准则

1. 先对函数求向量/矩阵各分量的导数，得到标量或向量形式的中间结果。
2. 若中间结果为标量，直接排列成原向量/矩阵的形状。
3. 若中间结果为向量：
   • 与原向量形状相同时，取转置后排成矩阵；
   • 与原向量形状不同时，直接排列成矩阵。
4. 矩阵求导可推广向量求导规则：先对矩阵的列/行向量求导，再按矩阵维度排列结果。

参考文献

1. Appendix D Vector And Matrix Differentiation
2. Introduction To Vector And Matrix Differentiation
3. Matrix CookBook

---

via：

• 矩阵、向量微分计算
  https://blog.youkuaiyun.com/yc461515457/article/details/49682473

• 矩阵论：向量求导/微分和矩阵微分_向量对自身求导-优快云博客
  https://blog.youkuaiyun.com/pipisorry/article/details/68961388