机器学习基础整理(第0章上)-线性代数篇

总览

假设我们要通过一些特征来描述一个人，比如: 身高，体重，颈部周长，手臂周长和年龄。每个人的这些特征可能都会不一样，让我们将他们用 $x1,x2,x3,x4,x5$ 来代表。此时，我们就可以用 向量(vector) 来代表拥有这些特征的个人，如 $[175cm,60kg,20cm,15cm,25岁]$。
如果我们要用数据结构来表示一大群人，矩阵 (Matrix) 就可以被用来代表这些人。

为什么学习机器学习之前你要了解线性代数？
答：“线性代数提供了一个数学框架来推理和操作向量和矩阵。 这在机器学习中广泛用于建模和解决问题。”

向量

一个 $d$ 维的列向量$x$及其转置(一个行向量) $x^t$ 可以用如下方式表示:

献上实例:

矩阵

一个 $n\ast d$ 的矩阵$M$以及其 $d\ast n$ 的转置矩阵$M^t$分别被写为:

献上实例 ($3\ast 5$ 的矩阵 及其 转置):

我们可以将矩阵 $M$ 的各个条目写为 $m_{ij}$的形式，其中 $i$ 和 $j$ 分别指代 行值 和 列值。

矩阵乘法

基础

两个矩阵 $A$（ 尺寸为 $m\ast n$）和矩阵 $B$（尺寸为 $n\ast d$）的乘积 $C$ 表示为：
$C=AB$
其中$C$的每个条目$c_{ij}$分别为:

其中，$C$的转置为:
$C^t=(AB{)}^t=B^t{A}^t$

矩阵乘法实例:

$m_{11}=4.6\times 3.5+5.7\times 1.5+6.1\times 4.1+5.5\times 7.5=90.91$
$m_{32}=3.5\times 6.2+5.3\times 3.7+9.5\times 8.7+8.5\times 4.1=158.81$

矩阵和向量相乘

矩阵 $M$ 可以和向量 $x$ 相乘从而得到另一个向量$y$: ( $M$ 的列数必须和 $x$ 的行数相同)

其中 $y$ 的每个元素可以这么计算:

献上实例：

矩阵相乘不符合交换律

$A\times B$ 和 $B\times A$并不总是相等。

矩阵对称性

一个方阵 (square matrix，即 $d\times d$) $M$, 若其条目符合 $m_{ij}=m_{ji}$，则其为对称矩阵(symmetric)。如下图。

若其条目符合 $m_{ij}=-m_{ji}$，则其为 偏对称矩阵 (skew-symmetric) 或 反对称矩阵 (anti-symmetric)。如下图。

非负矩阵

当矩阵 $M$ 的所有条目都不小于0，则该矩阵为非负的。

单位矩阵 (Identity Matrix)

当一个方阵 $I$ 的对角线条目都等于 1 而其他条目都等于0，则其为单位矩阵。

下图为维度是4的单位矩阵

对角矩阵 (Diagonal Matrix)

对角矩阵是在所有非对角线项中都为 0 的矩阵，表示为 $diag(m11,m22,..,mdd)$
实例如下图:

矩阵加法

向量和矩阵的相加是 一个项 加上 同样位置的另一个项。
如下图，两个兼容矩阵 (Compatible Matrices) 的累加

内积 (Inner Product)

具有相同维度 $d$ 的两个向量 $x$ 和 $y$ 的内积（或被称为标量积 scalar product）将表示为 $x^{t}y$ 并且结果是标量。
标量(Scalar): 一个标量就是一个单独的数，即只有大小，没有方向的量。

向量 $x$ 的欧几里得范数或长度 (Euclidean Norm or Length) 是:

若该范数等于1，则向量已经被归一化 (normalized)。

两个 $d$ 维向量之间的角度 $\theta$ 可以通过下式获得:

内积是衡量两个向量 共线性(colinearity) 的指标，这是一种在比例因子 (scale factor) 内相似性的指示。

下图是两个向量内积的例子:

$x^{t}y=1\times 5+3\times 1+4\times 0+6\times 2+8\times 7=76$

向量 $x$ 的矢量 (magnitude) 等于:
$\Vert x\Vert =\sqrt{1\times 1+3\times 3+4\times 4+6\times 6+8\times 8}=\sqrt{126}=11.23$

向量 $y$ 的矢量 (magnitude) 等于:
$\Vert y\Vert =\sqrt{5\times 5+1\times 1+0+2\times 2+7\times 7}=\sqrt{79}=8.89$

因此向量 $x$ 和 $y$ 之间的角度等于:

正交向量 (Orthogonal Vectors)

若 $x^{t}y=0$，则这两个向量是正交的。
若$x^{t}y=\Vert x\Vert \Vert y\Vert$，则这两个向量是共线 (colinear) 的。
Cauchy-Schwartz 不等式直接来自上述的对 两个向量之间的角度 的定义:
$x^{t}y\le \Vert x\Vert \Vert y\Vert$

方阵的迹(Trace)

方阵$A$的迹 (又被记作 T r { A } Tr\{A\} Tr{A})是其对角元素之和。

其中， T r { C D } = T r { D C } Tr\{CD\} = Tr\{DC\} Tr{CD}=Tr{DC} 假设了 $CD$ 的乘积是方阵，因此不需要保证$C$或$D$为方阵。

下面是 迹 的实例

矩阵$D$的迹是 $4+6+2+1=13$

方阵的行列式 (Determinant)

$d$ 维方阵 $M$ 的行列式被记为 $|M|$

其中，辅因子矩阵 (cofactor) $M_{ij}$ 是删除 $M$ 的第 $i$ 行和第 $j$ 列形成的矩阵的行列式，并乘以$(-1{)}^{i+j}$。

实例如下图:

其行列式等于:
$2\times (2\times 9-3\times 4)-4\times (-1\times 9-1\times 3)+6\times (-1\times 4-2\times 1)=24$

方阵的伴随矩阵 (Adjoint)

由辅因子组成的矩阵的转置，$C(c_{ij}=M_{ij})$，被称为 $M$ 的伴随矩阵，即 $Adj[M]$

其伴随矩阵等于:

逆矩阵 (Inverse Matrix)

$d$ 维矩阵 $M$ 的逆矩阵 $M^{-1}$符合:
$M^{-1}M=M{M}^{-1}=I$
逆矩阵可以使用以下求法:

$M^{-1}=\frac{Adj[M]}{|M|}$
也就是 $M$ 的伴随矩阵 除以 $M$ 的行列式。

逆矩阵的实例如下:

在之前我们已经计算了 $A$ 的行列式等于 24，其伴随矩阵如下

因此，$A$的逆矩阵等于:

若 矩阵的逆 存在则我们可以说该矩阵非奇异 (nonsingular)，
否则这个矩阵就不存在 逆，其是奇异 (singular) 的同时 矩阵的行列式 $|M|=0$。

一些特性:
$(M^t{)}^{-1}=(M^{-1}{)}^t$, $(AB{)}^{-1}=B^{-1}{A}^{-1}$

线性独立性 (Linear Independence) 和秩 (Rank)

若 $k$ 个拥有相同维度的向量，存在一系列不全为0的标量 $c_1,c_2,...,c_k$，使得以下式子成立，则可以说这些向量是线性相关的:
$c_1{x}_1+\cdot \cdot \cdot +c_k{x}_k=0$
若无法找到这些标量，则这些向量被称为线性独立。

一个矩阵的秩 也就是 矩阵中线性独立行的最大数量 (或者，线性独立列的最大数量)。
若一个 $d\times d$ 的矩阵的秩等于 $d$，则其是满秩的 (full rank)。同时，其行列式将会是非0且其会拥有逆矩阵。

对于一个非方阵的矩阵 $M$ ($d\times n$)，$M$ 的秩满足: $rank(M)\le min(d,n)$

其中，我们还能得到 $rank(M)=rank(M^t)=rank(M^{t}M)=rank(M{M}^t)$

正交矩阵 (Orthogonal Matrix)

当一个方阵 $M$ 满足以下式子，其是正交的:
$M{M}^t=M^{t}M=I$ (注意和逆矩阵的公式区别)

行和列都是正交的。对于任意不同的两列 $x$ 和 $y$，满足 $x^{t}y=0$, $x^{t}x=1$, $y^{t}y=1$。

一个正交矩阵代表了 会保留距离和角度 的线性转换(linear transformation) 包括旋转和反转。

一个正交矩阵是非奇异的，同时其逆矩阵就是其转置，$M^{-1}=M^t$

正交矩阵的行列式等于 $\pm 1$，其中 $-1$ 表示反转 而 $+1$代表了纯旋转。

矩阵的正定性 (Positive Definiteness)

若一个方阵对于所有的非零向量$x$，其二次型 (Quadratic Form) 满足 $x^{t}Mx>0$， 则其具有正定性。一个正定矩阵是满秩的。
若一个方阵对于所有的非零向量$x$，其二次型 (Quadratic Form) 满足 $x^{t}Mx\ge 0$， 则其具有半正定性 (Positive Semidefinite)。

特征值 (Eigenvalue) 和特征向量 (Eigenvector)

给定一个 $d$ 维方阵 $M$，对于标量 $\lambda$，当存在一个非零向量 $x$ 使得以下等式成立:

$Mx=\lambda x$ 或者 $(M-\lambda I)x=0$

则 标量 $\lambda$ 被称为 $M$ 的特征值 而 $x$ 是和该特征值相关的 $M$ 的特征向量。
因此不同的特征值会导致不同的特征向量。

下图是例子:

验证过程:

特征方程 (Characteristic Equation) 的解:
$|M-\lambda I|=0$
给出 $d\times d$ 矩阵的特征值或特征根。

特征方程是 $\lambda$ 的 $d$ 阶多项式。 有 $d$ 个解，${\lambda }_1,{\lambda }_2,...,{\lambda }_d$ 。 它们不一定是不同的，可能是实数或复数。

对于每个特征值 ${\lambda }_i$，其会有关联的特征向量 $u_i$, 并满足:
$M{u}_i={\lambda }_i{u}_i$

若 $\lambda$ 是 $M$ 的 特征值，而 $u_i$是属于 $\lambda$ 的特征向量，则任何对 $u_i$ 的非零乘都是一个特征向量。

求 矩阵 $A$ 特征值和特征向量的过程:

首先让 $\lambda$ 乘以和 $A$ 大小一致的单位矩阵 $I$，得到 $\lambda I$
接着让 $A$ 减去 $\lambda I$

接着，计算上述结果的行列式，即 $det(A-\lambda I)$

接着 求解 $det(A-\lambda I)=0$时，$\lambda$的值就可以了。

上述 ${\lambda }^2-6\lambda -14=0$ 求解得到特征值 ${\lambda }_1=8,{\lambda }_2=-2$

接下来是特征向量。

首先代入 $\lambda$ 得到 $A-\lambda I$ 的值，以 $\lambda =8$ 为例

求解 $Bx=0$ 中向量 $x$ 的可能取值, B 是上图的结果矩阵。

如下图是其中一种解:

最后根据定义检查结果，结果是对的:

属性

特征值和特征向量在 矩阵$M$ ($d\times d$) 中的属性:

• 特征值的累积 等于 矩阵$M$ 的行列式。对于一个矩阵，若其特征值都非零，则 $M$ 的逆矩阵存在。
• 特征值的累加 等于 矩阵的迹。
• 若 矩阵 $M$ 是一个对称矩阵，特征值和特征向量都均为实数。
• 若 矩阵 $M$ 具有正定性，所有特征值均大于0。
• 若 矩阵 $M$ 具有 $m$ 秩的半正定性，其将会有 $m$ 个 非零特征值以及 $d-m$ 的零特征值。
• 每一个对称矩阵拥有一些正交特征向量。列是对称矩阵特征值的矩阵 $U$ 是正交的。 U = { u 1 , . . . , u d } U = \{u_1, ..., u_d\} U={u1​,...,ud​}。同时有 $U^{t}U=U{U}^t=I$
• 矩阵 $U$ 对角化 $M$，$U^{t}MU=\Lambda$，其中 $\Lambda =diag({\lambda }_1,...,{\lambda }_d)$，这是一个 项 是 $M$ 特征值 的 对角矩阵。
  
• 若 $M$ 是正定矩阵，则 $M^{-1}=U^{-1}\Lambda U^t$，并且，${\Lambda }^{-1}=diag(1/{\lambda }_1,...,1/{\lambda }_d)$