机器学习的数学基础之线性代数篇

最新推荐文章于 2024-06-17 08:00:00 发布

原创最新推荐文章于 2024-06-17 08:00:00 发布 · 2.4k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #深度学习 #线性代数

算法基础专栏收录该内容

3 篇文章

订阅专栏

本文介绍了线性代数的基础知识，包括矩阵的基本概念、运算、行列式、矩阵的秩等内容，并详细阐述了如何利用矩阵解决实际问题。

机器学习的数学基础之线性代数篇

1.矩阵的基本概念

矩阵通常用大写字母表示A,B,C,D, 只有一行的矩阵叫行矩阵,只有一列的矩阵叫列矩阵

几种特殊的矩阵

方阵:行列数相等的矩阵就是方阵,方阵有主对角线和斜对角线

零矩阵:全是0的矩阵,一般用大写的O表示

对角矩阵:主对角线上的元素都是非零元素,其他位置都是0的矩阵

单位矩阵:主对角线上全是1的矩阵.记作 $E_n$

数量阵:对角线上的元素都是非零的相同元素

三角阵:三角阵分为上三角阵和下三角阵,上三角阵是主对角线及其上方元素非零, 下三角阵是主对角线及其下方元素非零.

梯形阵:
设 $A=(aij)m×nA=(a_{ij})_{m\times n}$ 为非零矩阵,若非零行(即至少有一个非零元素的行)全在零行的上面, A中各非零行中的第一个(最后一个)非零元素前(后)面零元素的个数随行数增大而增多(减少), 则称为上(下)梯形矩阵. 简称为上(下)梯形阵.
$[123450078000000]是上梯形矩阵\left[\begin{matrix} 1\qquad 2 \qquad 3 \qquad 4 \qquad 5\\ 0\qquad 0 \qquad 7 \qquad 8 \qquad 0\\ 0 \qquad 0 \qquad 0 \qquad0 \qquad 0 \end{matrix}\right] 是上梯形矩阵$
$[570123012210008900081]不是梯形矩阵\left[\begin{matrix} 5\qquad 7 \qquad 0 \qquad 12 \qquad 3\\ 0\qquad 1 \qquad 2 \qquad 2 \qquad 1\\ 0 \qquad 0 \qquad 0 \qquad8 \qquad 9 \\ 0 \qquad 0 \qquad 0 \qquad8 \qquad 1 \end{matrix}\right] 不是梯形矩阵$
$[10000−960001230052330]是下梯形矩阵\left[\begin{matrix} 1\qquad 0 \qquad 0 \qquad 0 \qquad 0\\-9\qquad 6 \qquad 0 \qquad 0 \qquad 0\\ 1 \qquad 2 \qquad 3 \qquad0 \qquad 0 \\ 5 \qquad 2 \qquad 3 \qquad3 \qquad 0 \end{matrix}\right] 是下梯形矩阵$
简单来说就是上梯形阵0元素的个数在增加, 下梯形阵0元素的个数在减少,对增加或减少的数量没有要求.

矩阵的运算

相等
两个矩阵相等是指这两个矩阵行列数相同,且对应元素相等.即: $A=(aij)m×n=B=(bij)m×n,对应元素相等aij=bijA=(a_{ij})_{m \times n} = B=(b_{ij})_{m \times n}, 对应元素相等a_{ij}=b_{ij}$

加减法
矩阵的加,减法就是同型矩阵对应元素相加减.
$(a_{ij} +b_{ij})_{m \times n} \qquad A - B = (a_{ij} - b_{ij})_{m \times n}$
运算规律:
$\\ A + O = A = O + A, A - A = O$
负矩阵: $A=(aij)m×n的负矩阵为(−aij)m×nA=(a_{ij})_{m\times n}的负矩阵为(-a_{ij})_{m \times n}$

数乘
矩阵与数的乘法,简称数乘, k与矩阵A的数乘,记做: $k A$ ,即每个元素和k做乘法.
运算规律:
$\\k(lA)=(kl)A, (k + l)A=kA +lA$

矩阵的乘法:
$\left[\begin{matrix} a_{11}\qquad a_{12} \qquad a_{13} \\ a_{21}\qquad a_{22} \qquad a_{23} \end{matrix}\right] \left[\begin{matrix} b_{11}\qquad b_{12} \\ b_{21}\qquad b_{22} \\b_{31} \qquad b_{32} \end{matrix}\right] =$
$[a11b11+a12b21+a13b31a11b12+a12b22+a13b32a21b11+a22b21+a23b31a21b12+a22b22+a23b32]\left[\begin{matrix} a_{11}b_{11} + a_{12}b_{21} + a_{13}b_{31} \qquad a_{11}b_{12} + a_{12}b_{22} + a_{13}b_{32}\\ a_{21}b_{11} + a_{22}b_{21} + a_{23}b_{31} \qquad a_{21}b_{12} + a_{22}b_{22} + a_{23}b_{32} \end{matrix}\right]$
简单地说矩阵的相乘就是第一个矩阵的行的每个元素乘以第二个矩阵的列对应的每个元素,将这些元素相乘的积加起来,得到的值就是对应的位置的值.
一般地, 有:
$A=(aij)m×sB=(bij)s×nC=AB=(Cij)m×nA=(a_{ij})_{m\times s} \qquad B=(b_{ij})_{s \times n} \qquad C=AB=(C_{ij})_{m\times n}$
$Cm×n=Am×sBs×nC_{m\times n} = A_{m\times s}B_{s\times n}$

A和B满足相乘的条件是:A的列数要和B的行数相同.

总结: 矩阵乘法和实数乘法有一下三点不同:

矩阵乘法不满足交换律.
矩阵乘法不满足消去律.
矩阵乘法有非零的零因子.

矩阵乘法满足下面的规律:

$(A B) C = A (B C)$
$+AC\\(B+C)A = BA + CA$
$k (A B) = (k A) B = A (k B)$
$EmAm×n=A=Am×nEnE_mA_{m \times n} =A = A_{m\times n}E_n$

方阵的正整数幂

$Ak=AA⋯AA^k = AA\cdots A$

规定 $A^0=E$ (和实数里面规定任何数的0次方等于1一样的意思)

$A^{k+l} = A^kA^l$

矩阵的转置

就是把矩阵的行变成列, 列变成行.

$A=[a11a12…a1na21a22…a2n⋯⋯⋯⋯am1am2…amn]A=\left[\begin{matrix} a_{11}\qquad a_{12} \qquad \ldots \qquad a_{1n}\\ a_{21}\qquad a_{22} \qquad \ldots \qquad a_{2n} \\ \cdots \cdots \cdots \cdots\\ a_{m1} \qquad a_{m2} \qquad \ldots \qquad a_{mn}\end{matrix}\right]$

$AT=[a11a21…am1a12a22…am2⋯⋯⋯⋯a1na2n…amn]A^T=\left[\begin{matrix} a_{11}\qquad a_{21} \qquad \ldots \qquad a_{m1}\\ a_{12}\qquad a_{22} \qquad \ldots \qquad a_{m2} \\ \cdots \cdots \cdots \cdots\\ a_{1n} \qquad a_{2n} \qquad \ldots \qquad a_{mn}\end{matrix}\right]$

转置的运算规律
$A+B)^T=A^T+B^T\\(kA)^T=kA^T$
$ABC)^T= C^TB^TA^T$

对称矩阵和反对称矩阵
如果一个矩阵, 它的转置和它本身相等, 我们就把这个矩阵叫做对称阵.
$对称阵: A^T=A, a_{ij}=a_{ji}$
$反对称阵: A^T=-A, a_{ij}=-a_{ji}且,a_{ii}= 0$

任何方阵都可以分解为对称阵和反对称阵的和:
显然: $A=A+AT2+A−AT2A=\frac{A+A^T}{2} + \frac{A - A^T}{2}$

矩阵的初等变换
以下三种变换分别称为矩阵的第一, 第二, 第三种初等变换:

对换矩阵中的第 $i, j$ 两行(列)的位置, 记做 $r_{ij}(c_{ij})或$ $r_i <->r_j (c_i <-> c_j)$
用非零常数k乘第 $i$ 行(列), 记做 $kr_i(kc_i)$
用矩阵的第 $j$ 行(列)乘以常数 $k$ 后加到第 $i$ 行(列)对应元素上去, 记做 $r_i + kr_j(c_i + kc_j)$

矩阵初等变换是线性代数中非常重要的一个工具.对应求解方程组中使用的消元法.

初等变换可以简化矩阵, 比如可以将矩阵转化为梯形阵.

矩阵的等价

对矩阵A实行有限次初等变换得到矩阵B, 则称矩阵A与B等价, 记做 $A≅BA\cong B$ 或 $\rightarrow B$

等价的矩阵具有自反性, 对称性和传递性.即:

$\cong A; \qquad A \cong B \Rightarrow B \cong A; \qquad A \cong B, B \cong C \Rightarrow A \cong C$

$\cong \left[\begin{matrix} 1\qquad 0 \qquad \cdots \qquad 0 \qquad 0 \qquad \cdots \qquad 0\\ 0\qquad 1 \qquad \cdots \qquad 0 \qquad 0 \qquad \cdots \qquad 0\\ \vdots \qquad \vdots \qquad \ddots \qquad \vdots \qquad \vdots \qquad \cdots \qquad \vdots \\ 0\qquad 0 \qquad \cdots \qquad 1 \qquad 0 \qquad \cdots \qquad 0\\0\qquad 0 \qquad \cdots \qquad 0 \qquad 0 \qquad \cdots \qquad 0 \\ \vdots \qquad \vdots \qquad \ddots \qquad \vdots \qquad \vdots \qquad \cdots \qquad \vdots \\0\qquad 0 \qquad \cdots \qquad 0 \qquad 0 \qquad \cdots \qquad 0 \end{matrix}\right](A的等价标准型)$

定理: 任何一个矩阵都有等价标准型

2.行列式

行列式概念的引进

先来看一个方程组:

$a_{11}x_1 + a_{12}x_2 = b_1, \\a_{21}x_1 +a_{22}x_2=b_2$

假设此方程组有解.即: $a11a22−a12a21≠0.a_{11}a_{22}-a_{12}a_{21} \neq 0.$ 求 $x_1和x_2$

一般会用高斯消元法求解.第一个方程乘上 $a_{22}$ ,第二个方程乘上 $a_{12}$ , 两个方程相减,消掉 $x_2$ 得到 $x_1$ 的表达式.

$x1=a22b1−a12b2a11a22−a12a21x_1 = \frac{a_{22}b_1 - a_{12}b_2}{a_{11}a_22-a_{12}a_{21}}$

同理可得:

$x2=a11b2−a21b1a11a22−a12a21x_2 = \frac{a_{11}b_2 - a_{21}b_1}{a_{11}a_22-a_{12}a_{21}}$

为了记忆, 我们引进记号

$\left| \begin{matrix} a_{11} \quad a_{12} \\ a_{12} \quad a_{22} \end{matrix} \right| = a_{11}a_22-a_{12}a_{21},这个式子就叫做行列式$

行列式其实就是速记的符号,上面的行列式是二阶行列式.

这样 $x_1, x_2$ 就有了新的表达式

$x1=∣b1a12b2a22∣∣a11a12a12a22∣,x2=∣a11b1a21b2∣∣a11a12a12a22∣x_1 = \frac {\left| \begin{matrix} b_{1} \quad a_{12} \\ b_2 \quad a_{22} \end{matrix} \right|}{\left| \begin{matrix} a_{11} \quad a_{12} \\ a_{12} \quad a_{22} \end{matrix} \right|}, \quad x_2= \frac{\left| \begin{matrix} a_{11} \quad b_{1} \\ a_{21} \quad b_{2} \end{matrix} \right|}{\left| \begin{matrix} a_{11} \quad a_{12} \\ a_{12} \quad a_{22} \end{matrix} \right|}$

再来看一下三阶行列式:

$a_{11}x_1 +a_{12}x_2 + a_{13}x_3=b_1, \\a_{21}x_1+a_{22}x_2+a_{23}x_3=b2,\\a_{31}x_1 + a_{32}x_2 +a_{33}x_3=b3.$

$使用高斯消元法得到x_1, x_2, x_3的分母为a_{11}a_{22}a_{33} + a_{12}a_{23}a_{31} + a_{13}a_{21}a_{32} - a_{13}a_{22}a_{31} - a_{11}a_{23}a_{32} - a_{12}a_{21}a_{33}$

我们定义以下式子为三阶行列式.

$∣a11a12a13a12a22a23a31a32a33∣=a11a22a33+a12a23a31+a13a21a32−a13a22a31−a11a23a32−a12a21a33\left| \begin{matrix} a_{11} \quad a_{12} \quad a_{13}\\ a_{12} \quad a_{22} \quad a_{23} \\ a_{31} \quad a_{32} \quad a_{33}\end{matrix} \right| = a_{11}a_{22}a_{33} + a_{12}a_{23}a_{31} + a_{13}a_{21}a_{32} - a_{13}a_{22}a_{31} - a_{11}a_{23}a_{32} - a_{12}a_{21}a_{33}$

练习计算以下矩阵的行列式的值:

$∣143−521361∣\left| \begin{matrix} 1 \quad 4 \quad 3\\ -5 \quad 2 \quad 1 \\ 3 \quad 6 \quad 1\end{matrix} \right|$

$∣100−523335∣\left| \begin{matrix} 1 \quad 0 \quad 0\\ -5 \quad 2 \quad 3 \\ 3 \quad 3 \quad 5\end{matrix} \right|$

n阶行列式&代数余子式

$D=∣a11a12a13a12a22a23a31a32a33∣=a11a22a33+a12a23a31+a13a21a32−a13a22a31−a11a23a32−a12a21a33D=\left| \begin{matrix} a_{11} \quad a_{12} \quad a_{13}\\ a_{12} \quad a_{22} \quad a_{23} \\ a_{31} \quad a_{32} \quad a_{33}\end{matrix} \right| = a_{11}a_{22}a_{33} + a_{12}a_{23}a_{31} + a_{13}a_{21}a_{32} - a_{13}a_{22}a_{31} - a_{11}a_{23}a_{32} - a_{12}a_{21}a_{33}$

$a_{11}(a_{22}a_{33} - a_{23}a_{32}) +a_{12}(a_{23}a_{31} - a_{21}a_{33}) + a_{13}(a_{21}a_{32} - a_{22}a_{31})$

$=a11∣a22a23a32a33∣−a12a11∣a21a23a31a33∣+a13∣a21a22a31a32∣=a_{11}\left| \begin{matrix} a_{22} \quad a_{23} \\ a_{32} \quad a_{33} \end{matrix} \right| - a_{12}a_{11}\left| \begin{matrix} a_{21} \quad a_{23} \\ a_{31} \quad a_{33} \end{matrix} \right| + a_{13}\left| \begin{matrix} a_{21} \quad a_{22} \\ a_{31} \quad a_{32} \end{matrix} \right|$

$=a11(−1)1+1∣a22a23a32a33∣−a12(−1)1+2∣a21a23a31a33∣+a13(−1)1+3∣a21a22a31a32∣=a_{11}(-1)^{1+1}\left| \begin{matrix} a_{22} \quad a_{23} \\ a_{32} \quad a_{33} \end{matrix} \right| - a_{12}(-1)^{1+2}\left| \begin{matrix} a_{21} \quad a_{23} \\ a_{31} \quad a_{33} \end{matrix} \right| + a_{13}(-1)^{1 + 3}\left| \begin{matrix} a_{21} \quad a_{22} \\ a_{31} \quad a_{32} \end{matrix} \right|$

记 $A11=(−1)1+1∣a22a23a32a33∣,A12=(−1)1+2∣a21a23a31a33∣,A13=(−1)1+3∣a21a22a31a32∣A_{11} = (-1)^{1+1}\left| \begin{matrix} a_{22} \quad a_{23} \\ a_{32} \quad a_{33} \end{matrix} \right|, A_{12}=(-1)^{1+2}\left| \begin{matrix} a_{21} \quad a_{23} \\ a_{31} \quad a_{33} \end{matrix} \right|, A_{13}=(-1)^{1 + 3}\left| \begin{matrix} a_{21} \quad a_{22} \\ a_{31} \quad a_{32} \end{matrix} \right|$

$D = a_{11}A_{11} +a_{12}A_{12} + a_{13}A_{13}$

类似地有 $D = a_{i1}A_{i1} +a_{i2}A_{i2} + a_{i3}A_{i3}, i=1,2,3$

或 $D = a_{1j}A_{1j} +a_{2j}A_{2j} + a_{3j}A_{3j}, j=1,2,3$

$A_{ij}称为元素a_{ij}的代数余子式$

行列式的性质:
性质1: $D=D^T$
性质2: 互换两行, 行列式变号
推论1: 若行列式中有两行元素完全相同, 则行列式为0.

$\Rightarrow 0$

推论2:设 $A_{ij}为元素a_{ij}的代数余子式, 则有$

$aj1Ai1+aj2Ai2+⋯+ajnAin=0(i≠j)a_{j1}A_{i1} +a_{j2}A_{i2}+ \cdots + a_{jn}A_{in} = 0 (i \neq j)$
推论2的简略证明:
一般地,我们的行列式 $D=ai1Ai1+ai2Ai2+⋯+ainAinD=a_{i1}A_{i1} + a_{i2}A_{i2} + \cdots + a_{in}A_{in}$ 如果又有 $D=aj1Ai1+aj2Aj2+⋯+ajnAinD=a_{j1}A_{i1} + a_{j2}A_{j2} + \cdots + a_{jn}A_{in}$ 则说明行列式中有两行元素完全相同,所以 $D = 0$ 即反证 $aj1Ai1+aj2Ai2+⋯+ajnAin=0(i≠j)a_{j1}A_{i1} +a_{j2}A_{i2}+ \cdots + a_{jn}A_{in} = 0 (i \neq j)$

性质3: 用数k乘行列式中某一行的所有元素, 等于用k乘此行列式.即:

$∣a11a12⋯a1n⋮⋮⋯⋮ai1ai2⋯ain⋮⋮⋯⋮an1an2⋯ann∣=k∣a11a12⋯a1n⋮⋮⋯⋮ai1ai2⋯ain⋮⋮⋯⋮an1an2⋯ann∣\left| \begin{matrix} a_{11} \quad a_{12} \quad \cdots \quad a_{1n} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{i1} \quad a_{i2} \quad \cdots \quad a_{in} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{n1} \quad a_{n2} \quad \cdots \quad a_{nn} \end{matrix} \right|= k\left| \begin{matrix} a_{11} \quad a_{12} \quad \cdots \quad a_{1n} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{i1} \quad a_{i2} \quad \cdots \quad a_{in} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{n1} \quad a_{n2} \quad \cdots \quad a_{nn} \end{matrix} \right|$

推论: 某一行的所有元素的公因子可以提到行列式符号的外面.

性质4: 行列式某一行元素加上另一行对应元素的k倍, 行列式的值不变.即:

$∣a11a12⋯a1n⋮⋮⋯⋮ai1+kaj1ai2⋯ain+kajn⋮⋮⋯⋮aj1aj2⋯ajn⋮⋮⋯⋮an1an2⋯ann∣=∣a11a12⋯a1n⋮⋮⋯⋮ai1ai2⋯ain⋮⋮⋯⋮aj1aj2⋯ajn⋮⋮⋯⋮an1an2⋯ann∣\left| \begin{matrix} a_{11} \quad a_{12} \quad \cdots \quad a_{1n} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{i1} + ka_{j1} \quad a_{i2} \quad \cdots \quad a_{in} + ka_{jn} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{j1} \quad a_{j2} \quad \cdots \quad a_{jn} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{n1} \quad a_{n2} \quad \cdots \quad a_{nn} \end{matrix} \right|= \left| \begin{matrix} a_{11} \quad a_{12} \quad \cdots \quad a_{1n} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{i1} \quad a_{i2} \quad \cdots \quad a_{in} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{j1} \quad a_{j2} \quad \cdots \quad a_{jn} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{n1} \quad a_{n2} \quad \cdots \quad a_{nn} \end{matrix} \right|$

根据第i行展开 $(ai1+kaj1)Ai1+(ai2+kaj2)Ai2+⋯+(ain+kajn)Ain(a_{i1} + ka_{j1})A_{i1} + (a_{i2} + ka_{j2})A_{i2} + \cdots + (a_{in} + ka_{jn})A_{in}$

$展开:ai1Ai1+ai2Ai2+⋯+ainAin+kaj1Ai1+⋯+kajnAin展开:a_{i1}A_{i1} + a_{i2}A_{i2} + \cdots + a_{in}A_{in} +ka_{j1}A_{i1} + \cdots + ka_{jn}A_{in}$

$根据$ $aj1Ai1+aj2Ai2+⋯+ajnAin=0(i≠j)得到结论a_{j1}A_{i1} +a_{j2}A_{i2}+ \cdots + a_{jn}A_{in} = 0 (i \neq j)得到结论$

性质5: 若行列式某一行的元素是两数之和,则行列式可拆成两个行列式的和.即:

$∣a11a12⋯a1n⋮⋮⋯⋮ai1+b1ai2+b2⋯ain+bn⋮⋮⋯⋮an1an2⋯ann∣=∣a11a12⋯a1n⋮⋮⋯⋮ai1ai2⋯ain⋮⋮⋯⋮an1an2⋯ann∣+∣a11a12⋯a1n⋮⋮⋯⋮b1b2⋯bn⋮⋮⋯⋮an1an2⋯ann∣\left| \begin{matrix} a_{11} \quad a_{12} \quad \cdots \quad a_{1n} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{i1} + b_1 \quad a_{i2}+ b_2 \quad \cdots \quad a_{in}+b_n \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{n1} \quad a_{n2} \quad \cdots \quad a_{nn} \end{matrix} \right|= \left| \begin{matrix} a_{11} \quad a_{12} \quad \cdots \quad a_{1n} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{i1} \quad a_{i2} \quad \cdots \quad a_{in} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{n1} \quad a_{n2} \quad \cdots \quad a_{nn} \end{matrix} \right| + \left| \begin{matrix} a_{11} \quad a_{12} \quad \cdots \quad a_{1n} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ b_1 \quad b_2 \quad \cdots \quad b_n \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{n1} \quad a_{n2} \quad \cdots \quad a_{nn} \end{matrix} \right|$

推论: 若行列式某一行的元素都是m个元素的和. 则行列式可以写成m个行列式的和.

3.矩阵的秩

伴随矩阵
定义:

$A=∣a11a12⋯a1na21a22⋯a2n⋮⋮⋯⋮an1an2⋯ann∣,Aij为aij的代数余子式,使用Aij作为元素排成一个新的矩阵A=\left| \begin{matrix} a_{11} \quad a_{12} \quad \cdots \quad a_{1n} \\ a_{21} \quad a_{22} \quad \cdots \quad a_{2n} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{n1} \quad a_{n2} \quad \cdots \quad a_{nn} \end{matrix} \right|, A_{ij}为a_{ij}的代数余子式,使用A_{ij}作为元素排成一个新的矩阵$

矩阵的秩
首先出k阶子式的定义: $在Am×n的矩阵中任取k行k列,位于这些行列相交处的k2个元素,按原次序组成的k阶行列式,称为矩阵A的k阶子式.在A_{m\times n}的矩阵中任取k行k列, 位于这些行列相交处的k^2个元素, 按原次序组成的k阶行列式,称为矩阵A的k阶子式.$

一般的:

$\times n矩阵A的k阶子式有C^k_mC^k_n个.$

秩的定义: $矩阵 A 的所有不等于零的子式的最高阶数称为矩阵 A 的秩, 记做 r (A) .$
显然: $r (O) = 0; 只要 A 不是零矩阵, 就有 r (A) > 0, 并且 :$

$r(A_{m \times n}) \leq min\{m,n\};$

$则r(A)\geq r,\\ 若所有的r阶子式全为零, 则r(A)\lt r.$

$3. r(A^T) = r(A)$

$设A_{n\times n}, 若|A|\neq 0, 则r(A)=n;, 若|A|=0, 则r(A)\lt n$

定理: 矩阵经初等变换后, 其秩不变.

初等变换可能会改变 $k$ 阶子式的大小, 但是不会改变 $k$ 阶子式是否为0的状态.

结论: $A 是梯形阵, 梯形阵的秩是梯形阵中非零行的函数 . 可以通过初等变换讲矩阵变换为梯形阵, 然后快速计算矩阵的秩 .$

矩阵的秩是矩阵的一个重要的数字特征.

显然, 若两个矩阵有相同的秩, 则这两个矩阵有相同的标准形, 从而等价, 反之, 若两个矩阵等价, 则他们的秩相同.

定理: $矩阵 A 与 B 等价的充分必要条件是 r (A) = r (B) .$

满秩矩阵

定义: 若方阵A的秩与其阶数相等, 则称A为满秩矩阵;否则称为降秩矩阵.

定理: 设A为满秩矩阵, 则A的标准形为同阶单位矩阵E, 即

$\cong E$

定义: 若方阵A的行列式 $∣A∣≠0,则称A为非奇异矩阵;若∣A∣=0,则称A为奇异矩阵.|A|\neq 0, 则称A为非奇异矩阵; 若|A|=0, 则称A为奇异矩阵.$

满秩的一定是非奇异的, 降秩的一定是奇异的.

4.逆矩阵

引入逆矩阵.

$在数中设a≠0,那么一定能找到a−1,使aa−1=a−1a=1在数中设a\neq 0, 那么一定能找到a^{-1}, 使aa^{-1} = a^{-1}a=1$

$\neq O, 能否找到矩阵B,使$

$A B = B A = E$

例如: $\left[ \begin{matrix} 1 \quad 0 \\ 0 \quad 0 \end{matrix} \right], 假如有B=\left[ \begin{matrix} a \quad b \\ c \quad d \end{matrix} \right] 使得AB=BA=E$

$[1000][abcd]=[ab00]=[1001]\left[ \begin{matrix} 1 \quad 0 \\ 0 \quad 0 \end{matrix} \right]\left[ \begin{matrix} a \quad b \\ c \quad d \end{matrix} \right]= \left[ \begin{matrix} a \quad b \\ 0 \quad 0 \end{matrix} \right]= \left[ \begin{matrix} 1 \quad 0 \\ 0 \quad 1 \end{matrix} \right]$

$⇒0=1,这显然是不可能的,所以不是所有的非零矩阵都能找到矩阵B,使得AB=BA=E\Rightarrow 0 = 1, 这显然是不可能的, 所以不是所有的非零矩阵都能找到矩阵B,使得AB=BA=E$

我们一般研究存在B矩阵, 使得 $A B = B A = E 的情况 .$

定义: 对n阶方阵A, 若有n阶矩阵B使得 $A B = B A = E$ , 则称B为A的逆矩阵, 称A为可逆的.

(1) 逆矩阵是唯一的.A的逆矩阵记为: $A^{-1}$

证明: 设 $B, C 都是 A 的逆, 则 B = E B = (C A) B = C (A B) = C E = C$

(2) 并非每个方阵都有逆矩阵.

定理: n阶方阵A可逆的充分必要条件是 $\neq0$

证明: $由A可逆得知AA^{-1}=E, 两边取行列式$

$∣AA−1∣=∣A∣∣A−1∣=∣E∣=1⇒∣A∣≠0|AA^{-1}| = |A||A^{-1}| = |E| = 1 \Rightarrow |A| \neq0$

$由|A| \neq 0, AA^{\star} = A^{\star}A=|A|E $

$⇒A(1∣A∣A⋆)=(AA−1)=E\Rightarrow A(\frac{1}{|A|}A^{\star}) = (AA^{-1})=E$

$A−1=1∣A∣A⋆A^{-1}=\frac{1}{|A|}A^{\star}$

$∣A∣≠0|A|\neq0$ 表示矩阵是非奇异的, 非奇异方阵一定是满秩的, 满秩矩阵的等价标准形是单位矩阵

例: 求 $A=[abcd](ad−bc≠0)的逆A=\left[ \begin{matrix} a \quad b \\ c \quad d \end{matrix} \right](ad-bc\neq0)的逆$

解: $A−1=1∣A∣A⋆=1ad−bc[d−b−ca]A^{-1}=\frac{1}{|A|}A^{\star}=\frac{1}{ad-bc}\left[ \begin{matrix} d \quad -b \\ -c \quad a \end{matrix} \right]$
如果用代码求出:

import numpy as np
m = np.random.randint(0,9,(4,4))
m_1 = np.linalg.matrix_rank(m)  # 求矩阵的秩
m_inv = np.linalg.inv(m)  # 求逆矩阵
display(m,m_1,m_inv)

5.向量

n维向量的概念
1.定义1: $,an组成的有序数组,称为n维向量,简称向量由数a_1, a_2, \cdots, a_n组成的有序数组, 称为n维向量,简称向量$ 向量通常用斜体希腊字母表示如: $α,β,γ\alpha, \beta, \gamma$ 等 $,an)叫做行向量,其中的ai是向量的分量.\alpha = (a_1, a_2, \cdots, a_n)叫做行向量, 其中的a_i是向量的分量.$
$α=(a1a2⋮an)叫做列向量\alpha=\left( \begin{matrix} a_{1} \\ a_{2} \\ \vdots \\ a_{n} \end{matrix} \right)叫做列向量$

$A=[a11a12⋯a1na21a22⋯a2n⋮⋮⋯⋮an1an2⋯ann],取矩阵中的一行,这一行就叫做矩阵的行向量,取列就是列向量A=\left[ \begin{matrix} a_{11} \quad a_{12} \quad \cdots \quad a_{1n} \\ a_{21} \quad a_{22} \quad \cdots \quad a_{2n} \\ \vdots \quad \vdots \quad \cdots \quad \vdots \\ a_{n1} \quad a_{n2} \quad \cdots \quad a_{nn} \end{matrix} \right],取矩阵中的一行,这一行就叫做矩阵的行向量, 取列就是列向量$

$如果一个向量所有的分量都是 0, 那么这个向量就是 0 向量$

$给向量的每一个分量都加上一个负号, 我们把这个向量叫做原向量的负向量 .$

$两个向量相等, 必须维数相同, 即同型, 对应分量相等$

定义2: $,an),数值a12+a22+⋯+an2称为向量α的长度或者范数,或者膜,记为∣∣α∣∣\alpha=(a_1, a_2, a_3, \cdots, a_n), 数值\sqrt{a_1^2 + a_2^2+\cdots + a_n^2}称为向量\alpha的长度或者范数,或者膜,记为||\alpha||$

$∣∣α∣∣=1,称α为单位向量||\alpha||=1, 称\alpha为单位向量$

n维向量的线性运算

设向量 $,bn)\alpha = (a_1, a_2, \cdots, a_n), \beta=(b_1, b_2, \cdots, b_n)$

加法: $,an+bn)\alpha + \beta = (a_1 + b1, a_2+b_2, \cdots, a_n + b_n)$
减法: $,an−bn)\alpha - \beta = (a_1 - b1, a_2-b_2, \cdots, a_n - b_n)$
数乘: $,kan)k\alpha = (ka_1, ka_2, \cdots, ka_n)$
运算规律: $α+β=β+α(α+β)+γ=α+(β+γ)α+0=0+αα−α=0\alpha + \beta=\beta + \alpha \\(\alpha + \beta) + \gamma = \alpha + (\beta + \gamma)\\ \alpha + 0 = 0 + \alpha\\ \alpha - \alpha = 0$

线性组合

定义: 设向量 $,αm的线性组合\beta, \alpha_1, \alpha_2, \cdots, \alpha_m,若存在一组数k_1,k_2,\cdots,k_m, 使\beta=k_1\alpha_1+k_2\alpha_2 + ...+ k_m\alpha_m, 则称向量\beta可以由向量\alpha_1, \alpha_2, \cdots, \alpha_m表示, \\或称\beta是向量\alpha_1, \alpha_2, \cdots, \alpha_m的线性组合$