5、线性代数与概率统计知识详解

线性代数与概率统计知识详解

1. 矩阵微积分

矩阵微积分是一种用于对向量或矩阵进行多元微积分的特殊符号表示法。若 $y$ 是一个涉及向量 $x$（或矩阵 $A$）所有元素的函数，那么 $\frac{\partial y}{\partial x}$（或 $\frac{\partial y}{\partial A}$）被定义为与 $x$（或 $A$）大小相同的向量（或矩阵），其中每个元素是 $y$ 关于 $x$（或 $A$）中对应元素的偏导数。

假设给定向量 $x = \begin{bmatrix}x_1 \ x_2 \ \vdots \ x_n\end{bmatrix}$ 和矩阵 $A = \begin{bmatrix}a_{11} & a_{12} & \cdots & a_{1n} \ a_{21} & a_{22} & \cdots & a_{2n} \ \vdots & \vdots & \ddots & \vdots \ a_{m1} & a_{m2} & \cdots & a_{mn}\end{bmatrix}$，则有：
$\frac{\partial y}{\partial x} \triangleq \begin{bmatrix}\frac{\partial y}{\partial x_1} \ \frac{\partial y}{\partial x_2} \ \vdots \ \frac{\partial y}{\partial x_n}\end{bmatrix}$ 和 $\frac{\partial y}{\partial A} \triangleq \begin{bmatr