机器学习（3）：机器学习与线性代数（Linear Algebra）

这次我们来讲讲机器学习基础第三部分：线性代数
其实机器学习基础中，矩阵知识的应用很多，但是内容并不多，下面主要总结为三个部分：

1. 矩阵
2. 特征值和特征向量
3. 矩阵求导
   我们先讲一个在机器学习图像预处理应用中典型的方法：奇异值分解（Singular Value Decomposition,简称SVD分解）
   假设A是任意一个m*n的单通道图像，则存在一个分解：

$$A_{m*n} = U_{m*m} \Sigma_{m*n} V_{n*n}^T$$
其中：

• U是 $AA^T$ 的特征向量，$U^TU = I$ ，即U是单位正交矩阵
• V是$A^TA$ 的特征向量，$V^TV = I$，V也是单位正交矩阵
• $\Sigma$ 对角线上的元素是A的特征向量

如果将$\Sigma$ 按照从大到小排列，可以选择前20（top20）来还原A(图像)，会发现还原的图像和原图几乎看不出来差别

下面开始介绍矩阵的一些定义：
1.矩阵A

$$A = \begin{pmatrix} A_{11} & A_{21} & \cdots & A_{n1} \\ A_{12} & A_{22} & \cdots & A_{n2} \\ \vdots & \vdots & \ddots & \vdots \\ A_{1n} & A_{2n} & \cdots & A_{nn} \\ \end{pmatrix}$$
2.行列式 $|A|$
$$\begin{vmatrix} A_{11} & A_{21} & \cdots & A_{n1} \\ A_{12} & A_{22} & \cdots & A_{n2} \\ \vdots & \vdots & \ddots & \vdots \\ A_{1n} & A_{2n} & \cdots & A_{nn} \end{vmatrix}$$
3.代数余子式:在一个n阶行列式A中，把(i,j)元素 $a_{ij}$所在的第i行和第j列划去之后，留下的n-1阶方阵的行列式叫元素 $a_{ij}$的余子式，记作 $M_{ij}$
$A_{ij} = (-1)^{i+j}M_{ij}$
$$M_{n2} = \begin{pmatrix} \begin{matrix} A_{11} & A_{21} & \cdots \end{matrix} \begin{matrix} \require{enclose} \enclose{verticalstrike}{A_{n1} } \end{matrix}\\ \begin{matrix} \require{enclose} \enclose{horizontalstrike}{A_{12} } \end{matrix} \begin{matrix} \require{enclose} \enclose{horizontalstrike}{A_{22} } \end{matrix} \begin{matrix} \require{enclose} \enclose{horizontalstrike}{\cdots } \end{matrix} \begin{matrix} \require{enclose} \enclose{verticalstrike horizontalstrike}{A_{n2} } \end{matrix}\\ \begin{matrix} \vdots && \vdots && \ddots \end{matrix} \begin{matrix} \require{enclose} \enclose{verticalstrike}{ \cdots } \end{matrix}\\ \begin{matrix} A_{1n} & A_{2n} & \cdots \end{matrix} \begin{matrix} \require{enclose} \enclose{verticalstrike}{A_{nn} } \end{matrix} \end{pmatrix}$$

接下来说说矩阵的物理意义，矩阵物理意义有很多种，我们从转移概率来说说其中一种物理意义

假定按照经济状况将人群分成上中下三个阶层，用1,2,3,表示（这让我想起了北京折叠）。假定当前处于某个阶层之和上一代有关，即：考察父代为第i阶层，则子代为第j阶层的概率。假定为如下转移概率矩阵：

$$\begin{bmatrix} 0.65 & 0.28 & 0.07 \\ 0.15 & 0.67 & 0.18 \\ 0.12 & 0.36 & 0.52 \end{bmatrix}$$

第N+1代中处于第j个阶层的概率为：
$$F(X_{n+1} = j ) = \Sigma_{i=1}^KF(X_{n} = i)*P(X_{n+1}=j | X_{n} = i) \\\to F^{(n+1)} = F^{(n)} * P$$
矩阵P为（条件）概率转移矩阵，第i行元素表示：在上一个状态为i时的分布概率，每行元素之和为1
$P^T$就是著名的马尔科夫矩阵（Markov Matrix）见（MIT线性代数公开课Gilbert Strang 老师 第24课）,这个矩阵有着非常多优良的性质，譬如 $P^T$必然存在特征值为1。

特征值和特征向量

A是n阶矩阵，若数$\lambda$和n维非0列向量x满足Ax =$\lambda$x,那么数$\lambda$称为A的特征值，x称为A的对应于特征值$\lambda$的特征向量。

实对称阵不同特征值的特征向量正交（可见SVD中，$A^TA的特征向量V，AA^T的特征向量U，都是正交矩阵$）

特征的导数

A 为 m*n的矩阵，x为n*1的列向量，则Ax为m*1的列向量，记$\vec y = A\vec x,\frac{\partial\vec y}{\partial\vec x } = A^T$
向量偏导公式：

$$\frac{\partial A\vec x}{\partial\vec x } = A^T$$
$$\frac{\partial A\vec x}{\partial\vec x^T } = A$$
$$\frac{\partial (\vec x^TA)}{\partial\vec x } = A$$
标量对向量的导数：其中 $A_{n*n},x_{n*1}$
$$\frac{\partial (\vec x^TA\vec x)}{\partial\vec x } = (A^T+A)\vec x$$
标量对方阵的导数：
$$\frac{\partial (|A|)}{\partial A } = |A|(A^{-1})^T$$