机器学习的数学基础：矩阵论

1. 基本概念

1.1 向量及其转置

一个$d$维列向量$x$及其转置$x^t$可记作：

$$x=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_d\end{array}\right]和x^t=\left[\begin{array}{cccc}{x}_1& x_2& \dots & x_d\end{array}\right]\text{\hspace{1em}(1)}$$

1.2 矩阵及其转置

一个$n\times d$的矩阵$\mathbf{M}$及其$d\times n$的转置矩阵${\mathbf{M}}^t$为：

$$\mathbf{M}=\left[\begin{array}{cccc}{m}_{11}& m_{12}& \dots & m_{1d}\\ m_{21}& m_{22}& \dots & m_{2d}\\ ⋮& ⋮& \ddots & ⋮\\ m_{n1}& m_{n2}& \dots & m_{nd}\end{array}\right]\text{\hspace{1em}(2)}$$

和

$${\mathbf{M}}^t=\left[\begin{array}{cccc}{m}_{11}& m_{21}& \dots & m_{n1}\\ m_{12}& m_{22}& \dots & m_{n2}\\ ⋮& ⋮& \ddots & ⋮\\ m_{1d}& m_{2d}& \dots & m_{nd}\end{array}\right]\text{\hspace{1em}(3)}$$

1.3 对称矩阵与反对称矩阵

一个$d\times d$的方阵， 如果其元素满足$m_{ij}=m_{ji}$，则称为对称矩阵；一个的$d\times d$方阵，如果其元素满足$m_{ij}=-m_{ji}$，则称为斜对称矩阵或反对称矩阵。

1.4 单位矩阵$\mathbf{I}$

单位矩阵必须为方阵，其对角线元素均为1，非对角线元素均为0。

1.5 对角矩阵

非对角线元素均为0的矩阵，也记作$diag(m_{11},m_{22},\dots ,m_{dd})$

1.6 向量或矩阵相加减

向量或矩阵的相加减即为对应元素相加减，参与运算的两个向量或矩阵维数必须相等。

1.7 矩阵与向量相乘

矩阵与向量相乘$\mathbf{M}\mathbf{x}=\mathbf{y}$可以表示为：

$$\left[\begin{array}{cccc}{m}_{11}& m_{21}& \dots & m_{n1}\\ m_{12}& m_{22}& \dots & m_{n2}\\ ⋮& ⋮& \ddots & ⋮\\ m_{1d}& m_{2d}& \dots & m_{nd}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_d\end{array}\right]=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]\text{\hspace{1em}(4)}$$

其中：$y_i=\sum _{j=0}^d{m}_{ij}{x}_j$。注意矩阵的列数必须等于向量的行数。

---

2. 向量内积与外积

2.1 向量内积

两个具有相同维数的向量$\mathbf{x}$与$\mathbf{y}$的内积记为${\mathbf{x}}^t\mathbf{y}$，这是一个标量：

$${\mathbf{x}}^t\mathbf{y}=\sum _{i=0}^d{x}_i{y}_i={\mathbf{y}}^t\mathbf{x}\text{\hspace{1em}(5)}$$

内积也称作点积，记为$\mathbf{x}\cdot \mathbf{y}$或$⟨\mathbf{x},\mathbf{y}⟩$。

2.2 欧几里德范数

向量的欧几里德范数即为向量的长度，定义为：

$$\Vert \begin{array}{c}\mathbf{x}\end{array}\Vert =\sqrt{{\mathbf{x}}^t\mathbf{x}}\text{\hspace{1em}(6)}$$

如果一个向量$\mathbf{x}$满足$\Vert \begin{array}{c}\mathbf{x}\end{array}\Vert =1$，则称这个向量是归一化的。

2.3 两个向量的夹角

两个d维向量的夹角为：

$$cos\theta =\frac{{\mathbf{x}}^t\mathbf{y}}{\Vert \begin{array}{c}\mathbf{x}\end{array}\Vert \Vert \begin{array}{c}\mathbf{y}\end{array}\Vert }\text{\hspace{1em}(7)}$$

当${\mathbf{x}}^t\mathbf{y}=0$时，这两个向量是正交的。当$\Vert \begin{array}{c}{\mathbf{x}}^t\mathbf{y}\end{array}\Vert =\Vert \begin{array}{c}\mathbf{x}\end{array}\Vert \Vert \begin{array}{c}\mathbf{y}\end{array}\Vert$时，这两个向量是共线的。

由于对于任意角度$\theta$都有$|cos\theta |\le 1$，由式(7)可得柯西-施瓦茨不等式：

$$|{\mathbf{x}}^t\mathbf{y}|\le \Vert \begin{array}{c}\mathbf{x}\end{array}\Vert \Vert \begin{array}{c}\mathbf{y}\end{array}\Vert \text{\hspace{1em}(8)}$$

2.4 线性相关与线性无关

对于一组给定的向量 { x 1 , x 2 , … , x n } \lbrace \mathbf x_1, \mathbf x_2, \dots, \mathbf x_n \rbrace {x1​,x2​,…,xn​}，如果其中不存在任何一个能被表示为其余向量的线性组合的向量，那么这组向量是线性无关的，反之则是线性相关。一组d个线性无关的d维向量能够张成一个d维向量空间，也就是说，这个空间中的任意向量都可以表示为这些线性无关向量的线性组合。

2.5 向量的外积

两个向量的外积为一个矩阵：

$$\mathbf{M}=\mathbf{x}{\mathbf{y}}^t=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_d\end{array}\right]\left[\begin{array}{cccc}{y}_1& y_2& \dots & y_d\end{array}\right]=\left[\begin{array}{cccc}{x}_1{y}_1& x_1{y}_2& \dots & x_1{y}_n\\ x_2{y}_1& x_2{y}_2& \dots & x_2{y}_n\\ ⋮& ⋮& \ddots & ⋮\\ x_d{y}_1& x_d{y}_2& \dots & x_d{y}_n\end{array}\right]\text{\hspace{1em}(9)}$$

---

3. 矩阵的导数

3.1 取标量值的函数的导数

设$f(\mathbf{x})$是一个取标量值得函数，有d个自变量$x_i(i=1,2,\dots ,d)$，用向量$\mathbf{x}$表示。则函数$f(\cdot )$关于自变量$\mathbf{x}$的梯度为：

$$\nabla f(\mathbf{x})=\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}=\left[\begin{array}{c}\frac{\partial f(\mathbf{x})}{\partial x_1}\\ \frac{\partial f(\mathbf{x})}{\partial x_2}\\ ⋮\\ \frac{\partial f(\mathbf{x})}{\partial x_d}\end{array}\right]\text{\hspace{1em}(10)}$$

3.2 取值为向量的函数的导数

设$\mathbf{f}$是一个值为n维向量的向量函数，其自变量为d维向量$\mathbf{x}$，则$\mathbf{f}$关于自变量的梯度为：

$$\mathbf{J}(\mathbf{x})=\frac{\partial \mathbf{f}(\mathbf{x})}{\partial \mathbf{x}}=\left[\begin{array}{ccc}\frac{\partial f_1(\mathbf{x})}{\partial x_1}& \dots & \frac{\partial f_1(\mathbf{x})}{\partial x_d}\\ ⋮& \ddots & ⋮\\ \frac{\partial f_n(\mathbf{x})}{\partial x_1}& \dots & \frac{\partial f_n(\mathbf{x})}{\partial x_d}\end{array}\right]\text{\hspace{1em}(11)}$$

称矩阵$\mathbf{J}(\mathbf{x})$为雅克比矩阵。

3.3 矩阵$\mathbf{M}$关于标量参数$\theta$的导数

设矩阵$\mathbf{M}$的每个元素都是关于某个标量参数$\theta$的函数，则此矩阵关于参数的导数为：

$$\frac{\partial \mathbf{M}}{\partial \theta }=\left[\begin{array}{ccc}\frac{\partial m_{11}}{\partial \theta }& \dots & \frac{\partial m_{1d}}{\partial \theta }\\ ⋮& \ddots & ⋮\\ \frac{\partial m_{n1}}{\partial \theta }& \dots & \frac{\partial m_{nd}}{\partial \theta }\end{array}\right]\text{\hspace{1em}(12)}$$

3.4 常用公式

$$\begin{array}{r}\frac{\partial }{\partial \mathbf{x}}[\mathbf{M}\mathbf{x}]=\mathbf{M}\\ \frac{\partial }{\partial \mathbf{x}}[{\mathbf{y}}^t\mathbf{x}]=\frac{\partial }{\partial \mathbf{x}}[{\mathbf{x}}^t\mathbf{y}]=\mathbf{y}\\ \frac{\partial }{\partial \mathbf{x}}[{\mathbf{x}}^t\mathbf{M}\mathbf{x}]=[\mathbf{M}+{\mathbf{M}}^t]\mathbf{x}\end{array}\text{\hspace{1em}(13 - 15)}$$

---

4. 行列式和迹

4.1 求解行列式

• $2\times 2$的矩阵的行列式：

$$|{\mathbf{M}}_{2\times 2}|=m_{11}{m}_{22}-m_{21}{m}_{12}\text{\hspace{1em}(16)}$$

• 余子式：如果$\mathbf{M}$为$d\times d$的矩阵，任一元素$m_{ij}$的余子式${\mathbf{M}}_{i|j}$定义为，从原始矩阵$\mathbf{M}$中分别划去第$i$行和第$j$列的所有元素后，得到的$(d-1)\times (d-1)$的矩阵。$m_{ij}$的代数余子式$C_{ij}$为余子式${\mathbf{M}}_{i|j}$与$(-1{)}^{i+j}$的乘积。

以三维矩阵$\mathbf{A}$为例：

$$\mathbf{A}=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]$$

$a_{12}$的余子式${\mathbf{A}}_{1|2}$表示为：

$$\left[\begin{array}{ccc}\times & \times & \times \\ a_{21}& \times & a_{23}\\ a_{31}& \times & a_{33}\end{array}\right]\to {\mathbf{A}}_{1|2}=\left[\begin{array}{cc}{a}_{21}& a_{23}\\ a_{31}& a_{33}\end{array}\right]$$

$a_{12}$的代数余子式$C_{12}$表示为：

$$C_{12}=(-1{)}^{1+2}|{\mathbf{A}}_{1|2}|=-a_{21}{a}_{33}+a_{23}{a}_{31}$$

• 高阶矩阵的行列式： 对于二阶矩阵的行列式，我们可以通过式（16）计算，对于更阶的矩阵，我们通过余子式来计算。如果$|{\mathbf{M}}_{i|j}|$已经计算得到，那么高阶矩阵行列式的计算有如下公式：

$$|\mathbf{M}|=\sum _{i=1}^d\sum _{j=1}^d(-1{)}^{i+j}{m}_{ij}|{\mathbf{M}}_{i|j}|\text{\hspace{1em}(17)}$$

• 行列式的一些性质： 对于任意矩阵，有：

$$|\mathbf{M}|=|{\mathbf{M}}^t|\text{\hspace{1em}(18)}$$

当两个矩阵$\mathbf{M}$与$\mathbf{N}$的大小相同时，有：

$$|\mathbf{M}\mathbf{N}|=|\mathbf{M}|\times |\mathbf{N}|\text{\hspace{1em}(19)}$$

矩阵的行列式在坐标系旋转时保持不变。

4.2 矩阵的迹

• 定义： 对于$d\times d$的方阵，矩阵的迹定义为主对角线上的元素之和，即：

$$tr[\mathbf{M}]=\sum _{i=1}^d{m}_{ii}\text{\hspace{1em}(20)}$$

矩阵的迹在坐标系旋转时保持不变。

---

5. 矩阵的逆

• 定义： 只要一个$d\times d$矩阵$\mathbf{M}$的行列式不为零，那么它对应的逆矩阵${\mathbf{M}}^{-1}$就存在，并且满足：

$$\mathbf{M}{\mathbf{M}}^{-1}=\mathbf{I}\text{\hspace{1em}(21)}$$

• 伴随矩阵： 矩阵$\mathbf{M}$的伴随矩阵记为$Adj[\mathbf{M}]$，它的第$i$行第$j$列元素为矩阵第$j$行第$i$列的余子式$C_{ji}$，即：

$$Adj[\mathbf{M}]=\left[\begin{array}{cccc}{C}_{11}& C_{21}& \dots & C_{d1}\\ C_{12}& C_{22}& \dots & C_{d2}\\ ⋮& ⋮& \ddots & ⋮\\ C_{1d}& C_{2d}& \dots & C_{dd}\end{array}\right]\text{\hspace{1em}(22)}$$

• 逆的计算：

$${\mathbf{M}}^{-1}=\frac{Adj[\mathbf{M}]}{|\mathbf{M}|}\text{\hspace{1em}(23)}$$

• 伪逆： 如果$\mathbf{M}$不是方阵，或者$\mathbf{M}$的列向量不是线性无关的，则${\mathbf{M}}^{-1}$不存在，我们通常用伪逆矩阵${\mathbf{M}}^{†}$来代替${\mathbf{M}}^{-1}$。如果${\mathbf{M}}^t\mathbf{M}$非奇异（即$|{\mathbf{M}}^t\mathbf{M}|̸=0$），则伪逆矩阵定义为：

$${\mathbf{M}}^{†}=[{\mathbf{M}}^t\mathbf{M}{]}^{-1}{\mathbf{M}}^t\text{\hspace{1em}(24)}$$

• 逆的性质：

$$[\mathbf{M}\mathbf{N}{]}^{-1}={\mathbf{M}}^{-1}{\mathbf{N}}^{-1}\text{\hspace{1em}(25)}$$

---

6. 特征值与特征向量

• 线性方程组的解： 对于$d\times d$的矩阵$\mathbf{M}$，一类非常重要的线性方程组的形式为：

$$\mathbf{M}\mathbf{x}=\lambda \mathbf{x}\text{\hspace{1em}(26)}$$

其中$\lambda$为标量。上式可以写为：

$$(\mathbf{M}-\lambda \mathbf{I})\mathbf{x}=0\text{\hspace{1em}(27)}$$

其中$\mathbf{I}$为单位阵，为d维零向量。线性方程组（26）的解向量$\mathbf{x}={\mathbf{e}}_i$和对应的标量系数$\lambda ={\lambda }_i$即为特征向量和特征值。
一种求解特征向量和特征值得方法是求解特征方程：

$$|\mathbf{M}-\lambda \mathbf{I}|=0\text{\hspace{1em}(28)}$$

特征方程的各个根就是特征值。然后对应每个根，我们通过求解线性方程组来得到特征值对应的特征向量。

• 重要性质： 全部特征值之和为矩阵的迹，全部特征值的乘积为矩阵的行列式，即：

$$\begin{array}{r}tr[\mathbf{M}]=\sum _{i=1}^d{\lambda }_i\\ |\mathbf{M}|=\prod _{i=1}^d{\lambda }_i\end{array}\text{\hspace{1em}(29 - 30)}$$

更多文章请浏览作者个人网站5663015.github.io
添加作者微信，一起交流学习，微信号：wuan3076
您的打赏是我进步的动力~