机器学习中的数学——线性代数笔记

线性代数笔记

1.1 矩阵基本概念

矩阵Hadamard乘积：矩阵对应元素的乘积，表示为$C=A$

向量的点积：向量的行列数相同，行向量乘以列向量。用以求解两向量的夹角。

$$a\bullet b=|a||b|cos\theta$$
单位矩阵：保持n维向量不变的单位矩阵记做$I_n$。形式上，${\mathbf{I}}_n\in R^{n\times n}$

$$\forall \mathbf{x}\in R^{n\times n},{\mathbf{I}}_n\mathbf{x}=\mathbf{x}$$
矩阵的广播：深度学习中允许矩阵和向量相加，产生另一个矩阵，即向量和矩阵的每一行相加。

矩阵的逆

$${\mathbf{A}}^{-1}\mathbf{A}={\mathbf{I}}_n$$

线性组合

$$\mathbf{A}\mathbf{x}=\sum _i{x}_i{\mathbf{A}}_{:,i}$$

线性相关
若一组向量在等式${\sum }_{i=1}^n{\alpha }_n{a}_n$只有当${\alpha }_n=0$时成立，称为这组向量线性相关；这表明没有任何一个向量能够表示为其余向量的线性组合；

矩阵的秩
线性无关行的最大数量（等价地，线性无关的列的最大数量）

对称矩阵：矩阵转置和矩阵本身相等的矩阵。某些不依赖参数顺序的双参数函数生成元素时，对称矩阵通常会出现。

正交是指向量${\mathbf{x}}^T\mathbf{y}=0$，即向量之间的夹角为90度。

标准正交：在$R^n$中，至多有n个范数非零向量相互正交，并且范数为1。

正交矩阵：行向量和列向量分别是标准正交的方阵，即
$${\mathbf{A}}^T\mathbf{A}=\mathbf{A}{\mathbf{A}}^T=\mathbf{I}$$
这意味着
$${\mathbf{A}}^{-1}={\mathbf{A}}^T$$

1.2 矩阵的基本性质

向量点积满足交换律：

$${\mathbf{x}}^T\mathbf{y}={\mathbf{y}}^T\mathbf{x}$$
证明：向量点积的结果是标量，因此
$${\mathbf{x}}^T\mathbf{y}=({\mathbf{x}}^T\mathbf{y}{)}^T={\mathbf{y}}^T\mathbf{x}$$
矩阵乘积：$\mathbf{C}=\mathbf{A}\mathbf{B}$；

具体定义为：

$${\mathbf{C}}_{i,j}=\sum _k{\mathbf{A}}_{i,k}{\mathbf{B}}_{k,j}$$
因此，可以理解为矩阵$A$的第i行和矩阵$B$的第j列的点积。

矩阵乘积的性质

分配律：

$$\mathbf{A}(\mathbf{B}+\mathbf{C})=\mathbf{A}\mathbf{B}+\mathbf{B}\mathbf{C}$$
结合律
$$\mathbf{A}(\mathbf{B}\mathbf{C})=(\mathbf{A}\mathbf{B})\mathbf{C}$$
$${(\mathbf{A}\mathbf{B})}^T={\mathbf{B}}^T{\mathbf{A}}^T$$
转置的定义
$(AB{)}^T=B^T{A}^T$

逆矩阵
$A{A}^{-1}=A^{-1}A=I$

由于$AB{B}^{-1}{A}^{-1}=I$

我们有$(AB{)}^{-1}=B^{-1}{A}^{-1}$

同时$(A^T{)}^{-1}=(A^{-1}{)}^T$

恒等式
$$(P^{-1}+B^T{R}^{-1}B{)}^{-1}{B}^T{R}^{-1}=P{B}^T(BP{B}^T)+R^{-1}$$
两侧同时右乘$(BP{B}^T+R)$即可得证；

经常出现的一种情况是
$$(I+AB{)}^{-1}=A(I+BA{)}^{-1}$$
Woodbury****恒等式
$$(A+B{D}^{-1}C{)}^{-1}=A^{-1}-A^{-1}B(D+C{A}^{-1}B{)}^{-1}C{A}^{-1}$$
两边同时左乘$(A+B{D}^{-1}C)$即可证明；

1.3 矩阵的迹和行列式

迹和行列式适用于方阵，矩阵的迹被定义为主对角线元素的和；

$$Tr(AB)=Tr(BA)$$
$${\Vert A\Vert }_F=\sqrt{Tr(\mathbf{A}{\mathbf{A}}^T)}$$

$$Tr(\mathbf{A})=Tr({\mathbf{A}}^T)$$

同时

$$Tr(ABC)=Tr(CAB)=Tr(BCA)$$
迹操作符的循环性质；这个性质可以扩展到任意数量矩阵的乘积；

行列式的定义
$$|A|=\Sigma (\pm )A_{1i_1}{A}_{1i_2}...A_{1i_n}$$
行列式等于矩阵特征值的乘积。行列式的绝对值用来衡量矩阵参与矩阵乘法的空间扩大或缩小多少。若行列式为0，那么空间至少沿着某一维完全收缩，失去所有体积；若行列式为1，则转换保持体积不变。

1.4 矩阵的导数

向量和矩阵关于标量的导数

$(\frac{\partial \mathbf{a}}{\partial x}{)}_i=\frac{\partial a_i}{\partial x}$

性质:

$\frac{\partial }{\partial \mathbf{x}}(x^{T}a)=\frac{\partial }{\partial \mathbf{x}}({\mathbf{a}}^T\mathbf{x})=\mathbf{a}$

$\frac{\partial }{\partial \mathbf{x}}(\mathbf{A}\mathbf{B})=\frac{\partial \mathbf{A}}{\partial x}\mathbf{B}+\mathbf{A}\frac{\partial \mathbf{B}}{\partial x}$

矩阵逆矩阵的导数表示为
$\frac{\partial }{\partial \mathbf{x}}({\mathbf{A}}^{-1})=-{\mathbf{A}}^{-1}\frac{\partial \mathbf{A}}{\partial x}{\mathbf{A}}^{-1}$

有如下的等式：

$\frac{\partial }{\partial x}ln|A|=Tr\left({\mathbf{A}}^{-1}\frac{\partial \mathbf{A}}{\partial x}\right)$

$\frac{\partial }{A_{ij}}Tr(\mathbf{A}\mathbf{B})=B_{ij}$

$\frac{\partial }{\partial \mathbf{A}}Tr(AB)={\mathbf{B}}^T$

同样的，我们有

$\frac{\partial }{\partial \mathbf{A}}Tr({\mathbf{A}}^T\mathbf{B})=\mathbf{B}$

$\frac{\partial }{\partial \mathbf{A}}Tr(\mathbf{A})=\mathbf{I}$

$\frac{\partial }{\partial \mathbf{A}}Tr(\mathbf{A}\mathbf{B}{\mathbf{A}}^T)=\mathbf{A}(\mathbf{B}+{\mathbf{B}}^T)$

$\frac{\partial }{\partial \mathbf{A}}\ln |\mathbf{A}|=({\mathbf{A}}^{-1}{)}^T$

1.5.线性方程

值域和零空间：令$A\in R^{m\times n}$。A的值域用$\mathcal{R}(A)$表示，是$R^m$中能够写成A的列向量的线性组合的所有向量的集合，即
R(A)={Ax∣x∈Rn}. \mathcal R(A)=\{Ax|x \in R^n\}. R(A)={Ax∣x∈Rn}.
值域$\mathcal{R}(A)$是$R^m$的子空间；维数是$A$的秩,用$rankA$表示;$A$的秩一定不会大于$m$和$n$的较小值；当rankA=min{m,n}rank A=min\{m,n\}rankA=min{m,n}，$A$是满秩矩阵；

$A$的零空间（或核），用$\mathcal{N}(A)$表示，是被$A$映射成零的所有向量$x$的集合

N(A)={x∣Ax=0} \mathcal N(A)=\{x|Ax=0\} N(A)={x∣Ax=0}
零空间是$R^n$的子空间；
判断$\mathbf{A}\mathbf{x}=\mathbf{b}$是否有解，相当于确定向量b是否在矩阵$\mathbf{A}$列向量的生成子空间中，这个子空间被称为矩阵$\mathbf{A}$的值域

为保证方程$\mathbf{A}\mathbf{x}=\mathbf{b}$对于任意的向量$b\in R^m$存在解，要求$\mathbf{A}$的列空间构成整个$R^m$。矩阵求$\mathbf{A}$的列空间是整个$R^m$的要求，意味着求$\mathbf{A}$至少有m列，即$n\le m$，否则列空间的维数会小于m。矩阵$\mathbf{A}$的行向量的维数与向量$\mathbf{b}$的维数一致。

$n\le m$仅仅是方程每一点存在解的必要条件，但并不是充分条件。有些列是冗余的，即线性相关。若某个向量是一组向量中某些向量的线性组合，若将这个向量加入这组向量不会增加这组向量的生成子空间，意味着矩阵至少含有一组m个线性无关的向量，注意为恰好是m个。

不存在一个m维向量的集合具有多于m个线性无关的列向量，但是有多于m个列向量的矩阵可能拥有不止一个大小为m的线性无关向量集。

综上，矩阵可逆，需保证每一个$\mathbf{b}$至多一个解，即矩阵至多有m个列向量，否则方程不止一个解。矩阵为方阵，所有列线性无关称之为非奇异矩阵。

奇异矩阵列向量线性相关的方阵

1.6 范数

范数：衡量向量的大小，$L^p$范数的定义如下：

$$\Vert \mathbf{x}{\Vert }_p=(\sum _i|x_i{|}^p{)}^{\frac{1}{p}}$$
范数是满足下列性质的函数：

①、$f(\mathbf{x})=0\Rightarrow \mathbf{x}=0$;

②、$f(\mathbf{x}+\mathbf{y})\le f(\mathbf{x})+f(\mathbf{y})$

③、$\forall \alpha \in R,f(\alpha \mathbf{x})=|\alpha |f(\mathbf{x})$

平方$L_2$范数用点积表示。

矩阵范数：Frobenius范数，即

$${\Vert A\Vert }_F=\sqrt{\sum _{i,j}{A}_{i,j}^2}$$

谱范数和Frobenius范数表示为
∥A∥2=max⁡i=1,...,n∣λi∣=max⁡{λ1,−λn}∥A∥F=(∑i=1nλi2)1/2 \Vert A\Vert_2=\max_{i=1,...,n} \vert\lambda_i\vert=\max\{\lambda_1,-\lambda_n\} \Vert A\Vert_F=\Bigl(\sum_{i=1}^n \lambda_i^2\Bigr)^{1/2} ∥A∥2​=i=1,...,nmax​∣λi​∣=max{λ1​,−λn​}∥A∥F​=(i=1∑n​λi2​)1/2

1.7 特征向量方程

对于一个$M\times M$的方阵$A$，特征向量方程的定义为
$$A{\mathbf{u}}_i={\lambda }_i{u}_i$$
其中$i=1,...,M,{\mathbf{u}}_i$被称为特征向量，${\lambda }_i$称为对应的特征值，解存在的条件为
$$|A-{\lambda }_{i}I|=0$$

这些称之为特征方程。

$A$的秩等于非零特征值的个数;

协方差矩阵、核矩阵、Hessian矩阵都是对称矩阵。对称矩阵的性质$A=A^T$。对称矩阵的逆矩阵也是对称的；对于对称矩阵，其特征值${\lambda }_i$是实数；

实对称矩阵的特征向量$u_i$可以被选为单位正交，使得
$$u_i^T{u}_i=I_{ij}$$
若两个特征值相等，那么任意线性组合也是有相同特征值的特征向量，因此可以任意选择一个线性组合，然后选择第二个特征向量正交于第一个（可以证明这种退化的特征向量永远不会线性相关）；因此特征向量可以选择正交，然后归一化为单位长度，由于有$M$个特征值，对应$M$个特征向量组成一个完备集，即任意一个$M$维向量可以表示为特征向量的线性组合；

1.8 对称特征值分解

假设$A\in S^n$，即$A$是实对称$n\times n$矩阵，那么$A$可以因式分解为
$$A=Q\Lambda Q^T$$
其中$Q\in R^{n\times n}$是正交矩阵，即满足$Q^{T}Q=I$，而$\Lambda =diag({\lambda }_1,...,{\lambda }_n)$，实数${\lambda }_i$是矩阵$A$的特征值，是特征多项式$det(\lambda I-A)$的根。$Q$的列向量构成$A$的一组正交特征向量，因式分解被称为$A$的谱分解或对称特征值分解；

对特征值进行排列使其满足${\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_n$，符号${\lambda }_i$表示第$i$大的特征值；

利用特征值将行列式和迹表示成
$$detA=\prod _{i=1}^n{\lambda }_{i}trA=\sum _{i=1}^n{\lambda }_i$$

特征分解：将矩阵分解成一组特征向量和特征值。

任意实对称矩阵都有特征分解，但特征分解可能并不唯一。两个或多个特征向量拥有相同的特征值，由此特征向量产生的生成子空间的任意一组正交向量都是该特征值对应的特征向量。

降序排列特征值构成的对角矩阵$\Lambda$得到的特征分解唯一，当且仅当特征值唯一。

对称平方根
令$A\in S_{+}^n$（非负定集合）的特征值分解为
$$A=Qdiag({\lambda }_1,...,{\lambda }_n)Q^T$$
定义$A$的对称平方根是
$$A^{1/2}=Qdiag({\lambda }_1^{1/2},...,{\lambda }_n^{1/2})Q^T$$
A导出的正交分解

如果$\mathcal{V}$是$R^n$的子空间，其正交补${\mathcal{V}}^{\perp }$表示，定义为
V⊥={x∣zTx=0},∀x∈V \mathcal V^\bot=\{x|z^Tx=0\},\forall x \in \mathcal V V⊥={x∣zTx=0},∀x∈V
线性代数的基本结果是，对任意的$A\in R^{m\times n}$，我们有

$$\mathcal{N}(A)=\mathcal{R}(A^T{)}^{\perp }$$
结果应用于$A^T$,我们有
$$\mathcal{R}(A)=\mathcal{N}(A^T{)}^{\perp }$$
这个结果表述为
$$\mathcal{N}(A){\oplus }^{\perp }\mathcal{R}(A^T)=R^n$$
${\oplus }^{\perp }$是正交直和，即两个正交子空间之和；上式被称为$A$导出的正交分解；

1.9 正定和矩阵不等式

最大特征值和最小特征值满足
$${\lambda }_{max}(A)=\underset{x̸=0}{\sup }\frac{x^{T}Ax}{x^{T}x}$$
$${\lambda }_{min}(A)=\underset{x̸=0}{\inf }\frac{x^{T}Ax}{x^{T}x}$$

对于任意的$x$，有
$${\lambda }_{min}(A)x^{T}x\le x^{T}Ax\le {\lambda }_{max}(A)x^{T}x$$
矩阵$A\in S^n$是正定矩阵的条件是，对于所有的$x̸=0$，$x^{T}Ax$成立；即充要条件是矩阵$A$的所有特征根是正值，${\lambda }_{min}\ge 0$；

若对所有的$x$，$x^{T}Ax\ge 0$，那么矩阵$A$是半正定矩阵；
正定矩阵：所有特征值为正数的矩阵，${\mathbf{x}}^T\mathbf{A}\mathbf{x}=0\Rightarrow \mathbf{x}=0$；所有特征值为非负数的矩阵是半正定矩阵，其保证$\forall \mathbf{x},{\mathbf{x}}^T\mathbf{A}\mathbf{x}\ge 0$；

1.10 奇异值分解

假设$A\in R^{m\times n},rankA=r$,那么$A$的因式分解为
$$A=U\Sigma V^T$$
其中$U\in R^{m\times r}$满足$U^{T}U=I,V\in R^{n\times r}$满足$V^{T}V=I$,而$\Sigma =diag({\sigma }_1,...,{\sigma }_n)$，满足
$${\sigma }_1\ge {\sigma }_2\ge ...\ge {\sigma }_n>0$$
成为矩阵$A$的奇异值分解（SVD）,$U$称为$A$的左奇异向量；$V$称为$A$的右奇异向量；，而${\sigma }_i$则称为奇异值；奇异值分解可以写成
$$A=\sum _{i=1}^r{\sigma }_i{u}_i{v}_i^T$$
其中$u_i\in R^m$是左奇异向量，$v_i\in R^n$是右奇异向量；

矩阵$A$的奇异值分解和（对称非负定）矩阵$A^{T}A$的特征值分解密切相关；
$$A^{T}A=V{\Sigma }^2{V}^T=[\begin{array}{c}V\hat{V}\end{array}]\left[\begin{array}{cc}{\Sigma }^2& 0\\ 0& 0\end{array}\right]\left[\begin{array}{cc}V& \hat{V}\end{array}\right]$$
其中$\hat{V}$是使$[\begin{array}{c}V\hat{V}\end{array}]$称为正交矩阵的任何矩阵。上式右边是$A^{T}A$的特征值分解；因此声称它的非零特征值就是$A$`的奇异值的平方；而$A^{T}A$的非零特征值对应的特征向量就是$A$的右特征向量；同理，$A{A}^T$对应非零特征值对应的特征向量就是$A{A}^T$的左特征向量；

用${\sigma }_{max}(A)$表示最大的奇异值
$${\sigma }_{max}(A)=\underset{x,y̸=0}{\sup }\frac{x^{T}Ay}{\Vert x{\Vert }_2\Vert y{\Vert }_2}=\underset{y̸=0}{\sup }\frac{\Vert Ay{\Vert }_2}{\Vert y{\Vert }_2}$$
上式表明最大奇异值是$A$的$l_2$算子范数；

$A\in R^{m\times n}$`的最小奇异值表示为
$${\sigma }_{min}(A)=\{\begin{array}{cc}{\sigma }_r(A)& r=min(m,n)\\ 0& r<minm,n\end{array}$$
它是正数的充要条件是$A$是满秩矩阵；

对称矩阵的奇异值就是其非零特征值以下降顺序排列的绝对值。对称半正定矩阵的奇异值和它的非零特征值相同。

非奇异矩阵$A\in R^{m\times n}$的条件数，用$cond(A)$或$\kappa (A)$表示，定义为
$$cond(A)=\Vert A{\Vert }_2\Vert A^{-1}{\Vert }_2={\sigma }_{max}(A)/{\sigma }_{min}(A)$$

1.11 伪逆

令$A=U\Sigma V^T$为$A\in R^{m\times n}$的奇异值分解，$rankA=r$。定义$A$的伪逆或Moore-Penrose逆
$$A^{\dotplus }=V{\Sigma }^{-1}{U}^T\in R^{n\times m}$$
等价表达式是
$$A^{†}=\underset{ϵ\to 0}{\lim }(A^{T}A+ϵI{)}^{-1}{A}^T=\underset{ϵ\to 0}{\lim }{A}^T(A{A}^T+ϵI{)}^{-1}$$
极限取自$ϵ>0$的方向，保证式中逆矩阵的存在性；若$rankA=m$ 那么$A^{†}=A^T(A{A}^T{)}^{-1}$，若$A$是非奇异方阵，那么$A^{†}=A^{-1}$

实际计算使用如下的公式计算伪逆：
$${\mathbf{A}}^{\dotplus }=\mathbf{V}{\mathbf{D}}^{\dotplus }{\mathbf{U}}^T$$
其中，矩阵$\mathbf{U}$、$\mathbf{D}$和$\mathbf{V}$是矩阵$\mathbf{A}$奇异值分解得到的矩阵，对角矩阵$\mathbf{D}$的伪逆${\mathbf{D}}^{\dotplus }$是其非零元素取倒数之后得到转置得到的。

伪逆用于求解最小二乘，最小范数，二次规划以及（Euclid）投影等问题；

矩阵的列数多于行数，使用伪逆是求解线性方程众多可能解法的一种，特别地，是方程所有可行解中欧式范数最小的一个；

矩阵的列数小于行数，可能没有解；这种情况下，利用伪逆得到的$\mathbf{x}$使得$\mathbf{A}\mathbf{x}$和$\mathbf{y}$的欧氏距离最小。