线性代数——补充4—矩阵微积分

矩阵微积分在很多领域都非常重要，比如机器学习、优化等。掌握它，你就能更好地理解和解决复杂问题。

1. 基础回顾：矩阵和向量

在深入矩阵微积分之前，我们得把矩阵和向量的基础知识再巩固一下。这些是后续学习的基石。

• 矩阵 (Matrix)：
  • 定义：由数字排列成的矩形阵列。
  • 表示：通常用大写字母表示，如 $A,X$。
  • 维度：$m\times n$ 表示 $m$ 行 $n$ 列。
  • 常见运算：
    • 加减法：维度相同才能进行，对应位置元素相加减。
    • 标量乘法：每个元素都乘以该标量。
    • 矩阵乘法：$A_{m\times k}\times B_{k\times n}=C_{m\times n}$。记住“行乘列”法则：$C_{ij}={\sum }_{p=1}^k{A}_{ip}{B}_{pj}$。这个很重要！
    • 转置 (Transpose)：$A^T$，行列互换。$(A^T{)}^T=A$, $(AB{)}^T=B^T{A}^T$。
    • 逆 (Inverse)：$A^{-1}$，如果 $A{A}^{-1}=A^{-1}A=I$ (单位矩阵)。不是所有矩阵都有逆，只有方阵且行列式不为零才有。
    • 行列式 (Determinant)：$\det (A)$ 或 $|A|$，一个标量值。方阵才有行列式。
• 向量 (Vector)：
  • 定义：只有一列（列向量）或一行（行向量）的矩阵。
  • 通常用小写字母表示，如 $\mathbf{x},\mathbf{y}$。
  • 点积 (Dot Product)：${\mathbf{x}}^T\mathbf{y}$ 或 $\mathbf{x}\cdot \mathbf{y}$。结果是一个标量。
  • 外积 (Outer Product)：$\mathbf{x}{\mathbf{y}}^T$。结果是一个矩阵。

记忆技巧：多动手算！矩阵乘法尤其要多练习，把它刻在脑子里。

---

2. 导数基础：标量对向量/矩阵的导数

现在我们开始进入微积分部分。先从最简单的，标量函数对向量或矩阵的导数开始。

• 标量对向量的导数：
  • 如果 $f(\mathbf{x})$ 是一个标量函数，$\mathbf{x}=[x_1,x_2,\dots ,x_n{]}^T$ 是一个列向量。
  • $f(\mathbf{x})$ 对 $\mathbf{x}$ 的导数（梯度，Gradient）是一个列向量：
    $$\frac{\partial f}{\partial \mathbf{x}}=\left[\begin{array}{c}\frac{\partial f}{\partial x_1}\\ \frac{\partial f}{\partial x_2}\\ ⋮\\ \frac{\partial f}{\partial x_n}\end{array}\right]$$
  • 例子：$f(\mathbf{x})={\mathbf{a}}^T\mathbf{x}=a_1{x}_1+\cdots +a_n{x}_n$
    $$\frac{\partial ({\mathbf{a}}^T\mathbf{x})}{\partial \mathbf{x}}=\mathbf{a}$$
    这个非常常用！记住：