深度学习-数学基础-线性代数

原创已于 2024-08-13 09:29:11 修改 · 1k 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #线性代数 #人工智能

于 2024-08-12 17:09:35 首次发布

线性代数是机器学习与深度学习的数学基石，本章学习记录线性代数中的基础知识

1、矩阵的运算

矩阵加法和减法

只有维度相同的矩阵才能相加或相减。

对应元素之间进行加法或减法。

若 A 和 B 是两个 m×n的矩阵，则它们的和 C=A+B满足 Cij=Aij+Bij。
符合交换律

矩阵乘法

矩阵 A的列数必须与矩阵 B的行数相等。

如果 A是 m×n矩阵，B是 n×p矩阵，那么它们的积 C=AB是一个 m×p矩阵。
乘法规则：

数乘（矩阵与标量的乘法）

用一个标量（实数或复数）乘以矩阵中的每一个元素。
若 AA是一个 m×n矩阵，k是一个标量，则 B=kA满足 Bij=k⋅Aij。

单位矩阵

单位矩阵是一个对角线元素全为 1，其他元素全为 0 的方阵。单位矩阵通常记作 In，其中 n 表示矩阵的阶，即矩阵的行数和列数。
2×2 单位矩阵：

单位矩阵是矩阵乘法中的中性元素。即对于任何 n×nn×n 矩阵 AA，有：

矩阵的逆

定义：对于一个方阵 A，如果存在一个矩阵 B，使得： AB=BA=I其中 I是与 A维数相同的单位矩阵，那么矩阵 B就被称为 A的逆矩阵，记作

对于非奇异矩阵，其逆矩阵具有存在性和唯一性，非奇异矩阵的是指行列式不为0的矩阵。
矩阵的逆求解方式，求解因为矩阵阶数的不同而表达式不同，一般使用拉普拉斯展开或通过LU 分解来计算行列式

转置

将矩阵的行和列互换，如果 A是一个 m×n矩阵，则其转置是一个 n×m 矩阵，满足：

共轭转置

对于一个复矩阵 AA，其共轭转置矩阵，通常记作：

计算方式：

转置：将矩阵 AA 的行和列互换。
复共轭：对矩阵 AA 中的每个元素取共轭复数（即实部保持不变，虚部取相反数）。

迹（Trace）

矩阵对角线元素的和。
如果 A是一个 n×n的方阵，则其迹：

矩阵的秩

2、向量及其运算

基本概念

定义: 向量是一个有大小（长度）和方向的量，通常以有序数对、数三元组等形式表示，也可以是任意维度的实数序列。例如，在二维空间中，一个向量可以表示为 v=(v1,v2)；在三维空间中，可以表示为 v=(v1,v2,v3)。
分量表示: 向量常常表示为一个列向量或行向量。例如，二维向量 v表示为 v=(v1v2)或 v=(v1,v2)T。
几何表示: 向量可以在坐标平面或坐标空间中表示为一个箭头，从原点指向某个点。

加法和减法

向量的加法和减法是分量逐个相加或相减。例如，对于两个二维向量 a=(a1，a2)和 b=(b1，b2)。

数乘

向量的数乘是指用一个标量（实数或复数）乘以每个分量。例如，如果 k是一个标量，且向量 v=(v1，v2)，则：

点积（内积）

两个向量的点积是一个标量，其计算方式是对应分量的乘积之和。例如，对于二维向量 u=(u1，u2) 和 v=(v1，v2)则：

叉积（外积）

叉积仅对三维向量定义，是一个向量。叉积计算方式如下，对于 u=(u1，u2，u3)和 v=(v1，v2，v3)：

u×v=

向量的长度或范数

向量的长度（或称为范数）是从原点到该点的距离。

单位向量

单位向量是长度为1的向量。

3、特征向量和特征值

定义

在一个向量空间中，假设你有一个方阵 A（例如，一个 n×n的矩阵）。如果存在一个非零向量 v和一个标量（数值） λ，使得当矩阵 A 作用在向量 v 上时，结果仅仅是这个向量被一个标量 λ 的作用放大或缩小，即

Av=λv

那么，向量 v 称为矩阵 A 的特征向量，而标量 λ 称为对应的特征值。

求解

特征值的求解： 通过解特征方程来找到特征值。特征方程来源于以下等式：

(A−λI)v=0

其中 I是同维的单位矩阵。为了解此方程，非零向量 v 的存在要求矩阵 (A−λI) 是奇异的（即行列式为零）。因此，我们需要求解行列式等于零的方程：

det⁡(A−λI)=0

这个方程被称为矩阵 A 的特征多项式，通过求解这个多项式的根来找到特征值 λ。
特征向量的求解： 通过将已经求得的特征值 λ 代入方程

(A−λI)v=0

求解这个齐次线性方程组，可以找到相对应的特征向量 v。