线性代数基础——向量

原创已于 2024-10-14 19:02:57 修改

· 1.2k 阅读

20 ·

版权

文章标签：

#线性代数 #python #机器学习

于 2024-10-14 19:02:54 首次发布

1.定义

向量可以用多种方式定义，以下是几种常见的定义：

几何定义：向量是一个有方向和大小的量，通常用箭头表示。向量的起点称为原点，终点称为向量的端点。
代数定义：向量是一个有序的数组，通常表示为列向量或行向量。

例如，一个 n 维列向量可以表示为：

$v=\begin{pmatrix}v_{1}\\v_{2}\\...\\v_{n}\end{pmatrix}$

一个 n 维行向量可以表示为：

$v=\begin{pmatrix}v_{1} & v_{2} & \ldots & v_{n}\end{pmatrix}$

其中 v1,v2,…,vn是向量的分量。

行向量和列向量再本质上没有区别。

向量的表示：

向量可以用多种方式表示，以下是几种常见的表示方法：

几何表示：在二维或三维空间中，向量通常用箭头表示，箭头的方向表示向量的方向，箭头的长度表示向量的大小。
代数表示：向量可以用列向量或行向量表示，如上所述。
坐标表示：在二维或三维空间中，向量可以用坐标表示。例如，二维向量 v=(v1,v2)v=(v1,v2) 表示在 xx 轴和 yy 轴上的分量。

2.向量的运算

向量有几种基本的运算，包括加法、数乘、点积和叉积。

1.向量加法

向量加法是将两个向量的对应分量相加，得到一个新的向量。例如，两个 n 维向量 u 和 v 的加法为：

$u+v=\begin{pmatrix}u_{1}\\u_{2}\\...\\u_{n}\end{pmatrix}+\begin{pmatrix}v_{1}\\v_{2}\\...\\v_{n}\end{pmatrix}=\begin{pmatrix}u_{1}+v_{1}\\u_{2}+v_{2}\\...\\u_{n}+v_{n}\end{pmatrix}$

2.向量数乘

向量数乘是将一个向量的每个分量乘以一个标量，得到一个新的向量。例如，一个 n 维向量 v 与标量 k 的数乘为：

$kv=k\begin{pmatrix}v_{1}\\v_{2}\\...\\v_{n}\end{pmatrix}=\begin{pmatrix}kv_{1}\\kv_{2}\\...\\kv_{n}\end{pmatrix}$

3.向量点积

向量点积（内积）是将两个向量的对应分量相乘，然后将结果相加，得到一个标量。例如，两个 n 维向量 u 和 v 的点积为：

$u\cdot v=u_{1}v_{1}+u_{2}v_{2}+...+u_{n}v_{n}$

例子：

假设有两个向量 u 和 v

$u=\begin{pmatrix}1\\2\\3\end{pmatrix},v=\begin{pmatrix}4\\5\\6\end{pmatrix}$

求u+v，2u，uv

解：

$u+v=\begin{pmatrix}1\\2\\3\end{pmatrix} + \begin{pmatrix}4\\5\\6\end{pmatrix}=\begin{pmatrix}5\\7\\9\end{pmatrix}$

$2u=2\begin{pmatrix}1\\2\\3\end{pmatrix}=\begin{pmatrix}2\\4\\6\end{pmatrix}$

$uv=\begin{pmatrix}1\\2\\3\end{pmatrix}\begin{pmatrix}4\\5\\6\end{pmatrix}=1\times 4 + 2\times 5 + 3\times 6=32$

3.矩阵的特征值和特征向量

设 A 是一个 n×n 的方阵。如果存在一个非零列向量 v 和一个标量 λ，使得：

$Av=\lambda v$

那么 λ 称为矩阵 A的特征值，v 称为对应于特征值 λ 的特征向量。

注：λ可以为0，而v不能为0，并且v是列向量。因为A是n维矩阵，如果v是行向量，则维数是1xn，不满足矩阵相乘。

将定义中的等式移项，得到：

$(A-\lambda E)v=0$

由于v是非零列向量，相当于求上述方程的非零解，由方程有非零解的充要条件是行列式为0的定理可知：

$\begin{vmatrix}A-\lambda E\end{vmatrix}=0$

说明：(A-λE)：特征矩阵；|A-λE|：特征行列式或特征多项式；|A-λE|=0：特征方程

结论：

1.λ是A的特征值，v是对应λ的一个特征向量，则cv也是λ的一个特征向量，c为不等于0的标量。

根据定义：

$Av=\lambda v$

等式两边同乘以c

$cAv=c\lambda v\rightarrow A(cv)=\lambda (cv)$

所以cv也是λ的一个特征向量。

4.向量的模

1.定义

向量 v 的模记作 ∥v∥，计算公式为：

$\left \| v \right \|=\sqrt{v_{1}^{2}+v_{2}^{2}+...+v_{n}^{2}}=\sqrt{v\cdot v}$

几何解释

在二维空间中，向量 v=(v1,v2)的模表示从原点到点 (v1,v2)的距离。在三维空间中，向量 v=(v1,v2,v3)的模表示从原点到点 (v1,v2,v3)的距离。

||v||=1，叫做单位向量的模。如：v=(1,0,0)

2.性质

非负性：∥v∥≥0，并且 ∥v∥=0 当且仅当 v=0（零向量）。
齐次性：对于任意标量 k，∥kv∥=∣k∣∥v∥。
三角不等式：对于任意向量 u 和 v，∥u+v∥≤∥u∥+∥v∥。

例子：

证明以下公式，如果：

$u=\dfrac{1}{||v||}v$

则u为v的单位向量。

证明：

$||u||=\sqrt{(u\cdot u)}=\sqrt{(\dfrac{1}{||v||}v,\dfrac{1}{||v||}v)}=\dfrac{1}{||v||}\sqrt{(v\cdot v)}=\dfrac{1}{||v||}||v||=1$

5.向量的内积

1.定义

对于两个 n 维向量 a=(a1,a2,…,an) 和 b=(b1,b2,…,bn)，它们的内积（点积）表示为 a⋅b，计算公式为：

$a\cdot b=a_{1}b_{1}+a_{2}b_{2}+...+a_{n}b_{n}$

几何解释

在几何上，内积也可以通过向量的模和它们之间的夹角来表示。具体来说，如果 θ 是向量 a 和 b 之间的夹角，那么内积可以表示为：

$a\cdot b=||a||\cdot ||b||cos(\theta )$

其中：

∥a∥ 和 ∥b∥ 分别是向量 a 和 b 的模（长度）。
cos⁡(θ)是夹角 θ 的余弦值。

2.性质

交换律：a⋅b=b⋅a
分配律：a⋅(b+c)=a⋅b+a⋅c
数乘结合律：(ka)⋅b=k(a⋅b)=a⋅(kb)(，其中 k 是标量。
正定性：a⋅a≥0，并且 a⋅a=0 当且仅当 a=0。

向量内积的几何解释其实就是余弦相似度算法的公式，当cos⁡(θ)=1时，表示两个向量重合；当cos⁡(θ)=0时，表示两个向量垂直。

如果使用两个向量分别近似表示两个文本或图像，两个向量的cos⁡(θ)越接近1，表示这两个文本内容越相似，cos⁡(θ)越接近0，表示这两个文本内容越不相似。