数据科学、数据分析、人工智能必备知识汇总-----线性代数-----持续更新-优快云博客

本文链接：https://blog.youkuaiyun.com/grd_java/article/details/144374811

数据科学、数据分析、人工智能必备知识汇总-----主目录-----持续更新(进不去说明我没写完)：`https://blog.youkuaiyun.com/grd_java/article/details/140174015`

文章目录

1. 向量

向量是线性代数里面最基本的概念，写代码时的一维数组就是一个向量，由N个数构成

$X=(X_1,X_2,...,X_n)$

向量的几何意义就是空间中的点，物理意义就是速度或者力这样的矢量

向量的分量我们称之为维度， $n$ 维向量集合的全体就构成了 $n$ 维欧式空间， $R^n$

2. 行向量和列向量

行向量是按行把向量排开

$X =$ $\begin{bmatrix} X_1 & X_2 & \cdots & X_n \end{bmatrix}$

列向量是按列把向量排开

$X=\begin{bmatrix} X_1 \\\\ X_2 \\\\ \vdots \\\\ X_n \end{bmatrix}$

在数学中我们更多的把数据写成列向量，在编程语言中更多的把数据存成行向量

3. 向量的运算加法，数乘，减法，内积，转置

向量X与向量Y相加。等于它们的分量分别相加，显然两个向量的长度得是相等的，减法同理，不做演示

$\begin{bmatrix}1 \\\\ 2 \\\\ 3 \end{bmatrix}+\begin{bmatrix}4 \\\\ 5 \\\\ 6 \end{bmatrix}=\begin{bmatrix}5 \\\\ 7 \\\\ 9 \end{bmatrix}$

数乘运算。是一个数和这个向量每个分量相乘

$\begin{bmatrix}1 \\\\ 2 \\\\ 3 \end{bmatrix}=\begin{bmatrix}2 \\\\ 4 \\\\ 6 \end{bmatrix}$

转置。把列向量变成行向量，把行向量变成列向量

$\begin{bmatrix}1 \\\\ 2 \\\\ 3 \end{bmatrix}^{T}$ = $\begin{bmatrix}1 & 2 & 3 \end{bmatrix}$ ， $\begin{bmatrix}1 & 2 & 3 \end{bmatrix}^T$ = $\begin{bmatrix}1 \\\\ 2 \\\\ 3 \end{bmatrix}$

运算法则

结合律： $A + B + C = A + (B + C)$

分配律： $K \times (X + Y) = K X + K Y$

向量的内积。两个列向量X和Y，内积为 $X^TY$ ，也就是变为一行 $\times$ 一列，等于对应位置相乘再相加。两个向量的内积的本质是变成一个标量

$\begin{bmatrix}1 & 2 & 3 \end{bmatrix}\cdot\begin{bmatrix}1 \\\\ 2 \\\\ 3 \end{bmatrix}=1*1+2*1+3*2=9$

对于两个向量 $\overrightharpoon{a}=(a_1,a_2,\dots,a_n)和\overrightharpoon{b}=(b_1,b_2,\dots,b_n)$ (可见这两个都是行向量),它们的内积 $\overrightharpoon{a}\cdot\overrightharpoon{b}=\overrightharpoon{a}^T\cdot\overrightharpoon{b}=\sum_{i=1}^na_ib_i$
设 $(Xw - Y)$ 是一个行向量，则 $(Xw-Y)^2=\begin{Vmatrix*}[r] (Xw-Y) \end{Vmatrix*}^2=(Xw-Y)^T(Xw-Y)$

4. 向量的范数

范数的公式是向量每个分量绝对值 P次方再用幂函数计算P分之一，P肯定是整数1，2，3…到正无穷都是可以的

向量的范数就是把,向量变成一个标量,范数的表示就是两个竖线来表示,然后右下角写上P

$x\|_p$ = $\Big({\displaystyle\sum_{i=1}^n|x_i|^p}\Big)^{\dfrac{1}{p}}$

1 范数是绝对值加和，1 范数写成 L1

$\|x\|_1=\displaystyle\sum_{i=1}^n|x_i|$

2 范数是平方加和开根号,其实代表的是向量的长度，高中时候学的向量的模,2 范数写成L2

$\|x\|_2=\sqrt{\displaystyle\sum_{i=1}^n(x_i)^2}$

范数在后面是非常有用的，在后面讲正则项的时候会用到

5. 特殊的向量

0 向量,就是分量全为 0的向量

$X=\begin{bmatrix}0 & 0 & \cdots & 0 \end{bmatrix}$

单位向量,就是 L2 范数÷模÷长度为 1 的向量

6. 矩阵与其运算

矩阵就是二维数组，下面是一个 $m$ 乘 $n$ 的矩阵,它有 $m$ 行, $n$ 列，每行每列上面都有一个元素，每个元素都有行标 $i$ 和列标 $j$ ， $x_{ij}$

$X=\begin{bmatrix} x_{11} & x_{12} &\dots &x_{1n} \\ x_{21} & x_{22} &\dots &x_{2n} \\ \vdots & \vdots &\ddots &\vdots \\ x_{m1} & x_{m2} &\dots &x_{mn} \\ \end{bmatrix}$

7. 方阵，对称矩阵，单位矩阵，对角线

如果 m等于n，那就称为方阵

$\begin{bmatrix} x_{11} & x_{12} &x_{13} \\ x_{21} & x_{22} &x_{23} \\ x_{31} & x_{32} &x_{33} \\ \end{bmatrix}_{3行×3列}$

对称矩阵。 $a_{ij}$ 等于 $a_{ji}$ 那么就是对称矩阵，肯定是个方阵

$\begin{bmatrix} 1 & 1 &2 \\ 1 & 2 &3 \\ 2 & 3 &3 \\ \end{bmatrix}_{3×3}$

单位矩阵。主对角线都是1,其它位置是0,这称之为单位阵,单位矩阵写为 $I$ 或 $E$ ,一定是方阵，等同于数字里面的 1

$\begin{bmatrix} 1 & \cdots &0 &0 &0 \\ \cdots &1 &\cdots & 0 &0 \\ 0 & \cdots & \cdots & \cdots & 0 \\ 0 & 0 & \cdots & \cdots & \cdots\\ 0 &0 &0 & \cdots & 1 \end{bmatrix}$

对角阵，就是主对角线非0，其它位置是 0

$\begin{bmatrix} \lambda_1 & \cdots &0 &0 &0 \\ \cdots &\lambda_2 &\cdots & 0 &0 \\ 0 & \cdots & \cdots & \cdots & 0 \\ 0 & 0 & \cdots & \cdots & \cdots\\ 0 &0 &0 & \cdots & \lambda_n \end{bmatrix}$

8. 矩阵的运算，加法，数乘，减法，转置

矩阵的加减，矩阵的加法就是矩阵的对应位置相加，减法也是一样就是对应位置相减

$\begin{bmatrix} 1 & 2 &3 \\ 0 &0 &0\end{bmatrix}$ + $\begin{bmatrix} 4 & 5 &6 \\ 0 &0 &0\end{bmatrix}$ = $\begin{bmatrix} 5 & 7 &9 \\ 0 &0 &0\end{bmatrix}$

数乘

$5×\begin{bmatrix} 1 & 2 &3 \\ 0 &0 &0\end{bmatrix}$ = $\begin{bmatrix} 5 & 10 &15 \\ 0 &0 &0\end{bmatrix}$

转置。转置的操作和向量是一样的，就是把 $a_{ij}$ 变成 $a_{ji}$ ，把行和列互换一下。简单来讲就是第一行变成第一列，第二行变成第二列，依次类推

$\begin{bmatrix} 1 & 2 &3 \\ 4 &5 &6\end{bmatrix}^{T}$ = $\begin{bmatrix} 1 &4 \\ 2&5 \\3&6 \end{bmatrix}$

矩阵的乘法和一般的乘法是不太一样的，它是把第一个矩阵的每一行，和第二个矩阵阵的每一列拿过来做内积得到结果。所以两个矩阵相乘，第一个矩阵的列数必须等于第二个矩阵的行数。最终结果的行列数，为第一个矩阵的行数，第二个矩阵的列数

也就是说 $m \times n$ 的矩阵A，只能和 $n \times k$ 的矩阵B相乘，因为A和B相乘，A的列数n必须等于B的行数n。而最终的结果正好是 $m \times k$ 的

$\begin{bmatrix} 1 & 2 &3 \\ 4 &5 &6\end{bmatrix}_{m×n}$ $\times$ $\begin{bmatrix} 1 &0 \\ 1&0 \\1&0 \end{bmatrix}_{n×k}$ = $\begin{bmatrix} 1×1+2×1+3×1 &1×0+2×0+3×0 \\\\4×0+5×0+6×0&4×0+5×0+6×0 \end{bmatrix}_{m×k}$ = $\begin{bmatrix} 6 &0 \\ 0&0 \end{bmatrix}_{m×k}$

分配律，结合律，和交换律

加法结合律： $A + B + C = A + (B + C)$

乘法结合律： $(A B) C = A (BC)$

乘法分配律： $(A + B) C = A C + BC$ ，注意C不可以乱移动位置，在右边就始终在右边，其它矩阵也一样，不可以乱动

乘法分配律： $A (B + C) = A B + A C$ ，注意A不可以乱移动位置，在左边就始终在左边，其它矩阵也一样，不可以乱动

为什么不能乱动呢？因为矩阵是不满足交换律的，乱动的结果不一定相等,甚至 AB 的尺寸和 BA 的尺寸是不同的。(除非A和B是互逆的)

$A B \neq = B A$

特殊的转置的公式
$AB)^T=B^TA^T$

9. 逆矩阵

前面介绍特殊矩阵时，提到过 $E$ 是单位矩阵（左对角线全为1，其它全为0）

矩阵 $A$ 的逆矩阵记为 $A^{-1}$ ，定义如下（定义中，B和A互为逆矩阵）：

对于方阵 $A 和 B$ ，若 $A B = E$ 则 $A B$ 互逆，且 $A^{-1}=B$ ， $B^{-1}=A$ ， $A B = B A$ （这个其实就是在说 $AA^{-1} = A^{-1}A = E$ ， $E$ 是单位矩阵）

关于 $A^{-1}$ 的结论，A可逆的充分必要条件，也就是A可逆可以推出什么，以及什么可以推出A可逆

$A可逆\Leftrightarrow$ $AA^{-1}=E\Leftrightarrow$ $|A|≠0\Leftrightarrow$ $r(A)=n\Leftrightarrow$ $A可以表示为初等矩阵的乘积\Leftrightarrow$ $A无零特征值\Leftrightarrow$ $A x = 0 只有零解$

矩阵求逆有什么用呢?它可以帮助我们解线性方程组，比如 $A Z = B$

两边左同乘(就是从等号两边的左边乘) $A^{-1}$ ，有 $Z=A^{-1}B$

常用公式

$A^{-1})^{-1}$ = $A$

$AB)^{-1}=B^{-1}A^{-1}$

$k≠0，(kA)^{-1} = \dfrac{1}{k}A^{-1}$

$A^T)^{-1} = (A^{-1})^T$

$A|^{-1}$ = $\dfrac{1}{|A|}$

已知A可逆，如何求A的逆。分具体性(矩阵中的分量都是具体数值)和抽象型(矩阵中的分量有未知的变量，例如a,b,c这种)两种

具体型： $\begin{cases}1. A^{-1} = \dfrac{1}{|A|}A^{*}\\\\2. [A\vdots E]做初等行变换，变为[E\vdots A^{-1}].(这个很好理解，\\\\就是A后面跟一个E，初等行变换将A变为E后，后面的E就变成了A^{-1})\\\\3. 做列变换也行，就是在A下面跟一个E\\\\\end{cases}$

抽象型： $\begin{cases} 1. 恒等变形求A的逆，创造AB=E\Rightarrow A^{-1} = B\\\\ 2. 创造A=BC，若B和C是可逆的\Rightarrow A^ {-1} = C ^ {-1}B^ {-1} \end{cases}$

10. 行列式

机器学习中用的并不多，求行列式表示求矩阵的面积，但要求必须是方阵，也就是必须 $m \times m$ 的矩阵。既然是面积，说明行列式求出来的也是一个值（标量）

$\begin{vmatrix} a & b \\ c & d \end{vmatrix} = ad-bc$

$\begin{vmatrix} a_{11} & a_{12}&a_{13} \\ a_{21} & a_{22}&a_{23} \\ a_{31} & a_{32}&a_{33} \end{vmatrix} = a_{11}a_{22}a_{33}+a_{12}a_{23}a_{31}+a_{13}a_{21}a_{32}$ $a_{13}a_{22}a_{31}-a_{12}a_{21}a_{33}-a_{11}a_{23}a_{32}$