线性代数——向量

向量

1.定义

向量可以用多种方式定义，以下是几种常见的定义：

• 几何定义：向量是一个有方向和大小的量，通常用箭头表示。向量的起点称为原点，终点称为向量的端点。

• 代数定义：向量是一个有序的数组，通常表示为列向量或行向量。

例如，一个 n 维列向量可以表示为：

一个 n 维行向量可以表示为：

其中 v1,v2,…,vn是向量的分量。

行向量和列向量再本质上没有区别。

向量的表示

向量可以用多种方式表示，以下是几种常见的表示方法：

• 几何表示：在二维或三维空间中，向量通常用箭头表示，箭头的方向表示向量的方向，箭头的长度表示向量的大小。

• 代数表示：向量可以用列向量或行向量表示，如上所述。

• 坐标表示：在二维或三维空间中，向量可以用坐标表示。例如，二维向量 v=(v1,v2)v=(v1,v2) 表示在 xx 轴和 yy 轴上的分量。

2. 向量的运算

向量有几种基本的运算，包括加法、数乘、点积和叉积。

向量加法

向量加法是将两个向量的对应分量相加，得到一个新的向量。例如，两个 n 维向量 u 和 v 的加法为：

向量数乘

向量数乘是将一个向量的每个分量乘以一个标量，得到一个新的向量。例如，一个 n 维向量 v 与标量 k 的数乘为：

向量点积

向量点积（内积）是将两个向量的对应分量相乘，然后将结果相加，得到一个标量。例如，两个 n 维向量 u 和 v 的点积为：

例子：

假设有两个向量 u 和 v

求u+v，2u，uv

解：

3.矩阵的特征值和特征向量

定义

设 A 是一个 n×n 的方阵。如果存在一个非零列向量 v 和一个标量 λ，使得：Av=λv,那么 λ 称为矩阵 A的特征值，v 称为对应于特征值 λ 的特征向量。

注：λ可以为0，而v不能为0，并且v是列向量。因为A是n维矩阵，如果v是行向量，则维数是1xn，不满足矩阵相乘。

将定义中的等式移项，得到：(A-λE)v=0,由于v是非零列向量，相当于求上述方程的非零解，由方程有非零解的充要条件是行列式为0的定理可知：

说明：(A-λE)：特征矩阵；|A-λE|：特征行列式或特征多项式；|A-λE|=0：特征方程

结论：

1.λ是A的特征值，v是对应λ的一个特征向量，则cv也是λ的一个特征向量，c为不等于0的标量。

根据定义：Av=λv,等式两边同乘以c

$$
cAv=cλv=>A(cv)=λ(cv)
$$

所以cv也是λ的一个特征向量。

例子：

1.假设有矩阵A：

$$
A=\begin{pmatrix}-1 & 1 & 0\\-4 & 3 & 0\\1 & 0 & 2\end{pmatrix}
$$

求A的特征值λ及对应λ的特征向量。

解：根据定义可知：

$$
\begin{vmatrix}A-λE\end{vmatrix}=0=>\begin{vmatrix}\begin{pmatrix}-1 & 1 & 0\\-4 & 3 & 0\\1 & 0 & 2\end{pmatrix}-\begin{pmatrix}λ & 0 & 0\\0 & λ & 0\\0 & 0 & λ\end{pmatrix}\end{vmatrix}=0=>\begin{vmatrix} -1-λ & 1 & 0 \\ -4 & 3-λ & 0 \\ 1 & 0 & 2-λ \end{vmatrix}=0
$$

1.计算行列式：

$$
\begin{vmatrix} -1-λ & 1 & 0 \\ -4 & 3-λ & 0 \\ 1 & 0 & 2-λ \end{vmatrix}=(2-λ)(-1)^{3+3}\begin{vmatrix} -1-λ & 1 \\ -4 & 3-λ \end{vmatrix}=(2-λ)(-1)[(1+λ)(3-λ)+4]=(2-λ)(λ-1)^{2}
$$

所以

$$
(2-λ)(λ-1)^{2}
$$

所以λ1=2，λ2=λ3=1

2.计算特征向量

当λ=2时

$$
\begin{pmatrix}λE-A\end{pmatrix}=>\begin{pmatrix} 1+λ & -1 & 0 \\ 4 & λ-3 & 0 \\ -1 & 0 & λ-2 \end{pmatrix}=>\begin{pmatrix} 3 & -1 & 0 \\ 4 & -1 & 0 \\ -1 & 0 & 0 \end{pmatrix}
$$

将矩阵进行初等行变换，形成行简化阶梯形矩阵

$$
\begin{pmatrix}3 & -1 & 0 \\4 & -1 & 0 \\-1 & 0 & 0\end{pmatrix}->\begin{pmatrix}1 & 0 & 0 \\4 & -1 & 0 \\ 3 & -1 & 0\end{pmatrix}->\begin{pmatrix}1 & 0 & 0 \\0 & -1 & 0 \\ 0 & -1 & 0\end{pmatrix}->\begin{pmatrix}1 & 0 & 0 \\0 & 1 & 0 \\ 0 & 0 & 0\end{pmatrix}
$$

可以得出v1=0,v2=0,v3为任意数，取v3=1，所以特征向量

$$
v=c\begin{pmatrix}0 \\ 0\\1\end{pmatrix},c\neq 0
$$

当λ=1时

$$
\begin{pmatrix}λE-A\end{pmatrix}=>\begin{pmatrix} 1+λ & -1 & 0 \\ 4 & λ-3 & 0 \\ -1 & 0 & λ-2 \end{pmatrix}=>\begin{pmatrix} 2 & -1 & 0 \\ 4 & -2 & 0 \\ -1 & 0 & -1 \end{pmatrix}
$$

将矩阵进行初等行变换，形成行简化阶梯形矩阵

$$
\begin{pmatrix}2 & -1 & 0 \\4 & -2 & 0 \\-1 & 0 & -1\end{pmatrix}->\begin{pmatrix}-1 & 0 & -1 \\2 & -1 & 0 \\4 & -2 & 0\end{pmatrix}->\begin{pmatrix}1 & 0 & 1 \\0 & 1 & 2 \\0 & 0 & 0\end{pmatrix}
$$

可以得出v1=-v3,v2=-2v3,v3为任意数，取v3=-1，所以特征向量：

$$
v=c\begin{pmatrix}1 \\ 2\\-1\end{pmatrix},c\neq 0
$$

练习：

1.假设有矩阵A

$$
A=\begin{pmatrix}1 & -2 & 2 \\-2 & -2 & 4 \\2 & 4& -2\end{pmatrix}
$$

求A的特征值λ及对应λ的特征向量。

解：根据特征值定义可知：

$$
|λE-A|=\begin{vmatrix}\begin{pmatrix}λ & 0 & 0\\0 & λ & 0\\0 & 0 & λ\end{pmatrix}-\begin{pmatrix}1 & -2 & 2 \\-2 & -2 & 4 \\2 & 4& -2\end{pmatrix}\end{vmatrix}=\begin{vmatrix}λ-1 & 2 & -2 \\2 & λ+2 & -4 \\-2 & -4& λ+2\end{vmatrix}=0
$$

1.计算行列式

$$
\begin{vmatrix}λ-1 & 2 & -2 \\2 & λ+2 & -4 \\-2 & -4& λ+2\end{vmatrix}=\begin{vmatrix}λ-1 & 2 & -2 \\2 & λ+2 & -4 \\0 & λ-2& λ-2\end{vmatrix}=(λ-2)\begin{vmatrix}λ-1 & 2 & -2 \\2 & λ+2 & -4 \\0 & 1& 1\end{vmatrix}\\=(λ-2)[(-1)^{3+2}\begin{vmatrix}λ-1 & -2\\2 & -4\end{vmatrix}+(-1)^{3+3}\begin{vmatrix}λ-1 & 2\\2 & λ+2\end{vmatrix}]=(λ-2)(λ-2)(λ+7)=0
$$

所以λ1=λ2=2，λ3=-7

2.计算特征向量

当λ=-7时

$$
λE-A=\begin{pmatrix}-8 & 2 & -2\\2 & -5 & -4\\-2 & -4 & -5\end{pmatrix}->\begin{pmatrix}1 & 0 & \dfrac{1}{2}\\0 & 1 & 1\\0 & 0 & 0\end{pmatrix}
$$

可以得出v1=-(1/2)v3,v2=-v3,v3为任意数，取v3=-2，所以特征向量：

$$
v=c\begin{pmatrix}1 \\ 2\\-2\end{pmatrix},c\neq 0
$$

同理，当λ=2时

$$
λE-A=\begin{pmatrix}1 & 2 & -2\\2 & 4 & -4\\-2 & -4 & 4\end{pmatrix}->\begin{pmatrix}1 & 2 & -2\\0 & 0 & 0\\0 & 0 & 0\end{pmatrix}
$$

所以：

$$
v_{1}=2v_{3}-2v_{2}
$$

当v2=1,v3=0时，v1=-2；当v3=1，v2=0时，v1=2

所以特征向量为

$$
v=c_{1}\begin{pmatrix}-2 \\ 1\\0\end{pmatrix}+c_{2}\begin{pmatrix}2 \\ 0\\1\end{pmatrix},c_{1},c_{2}不同时为0
$$

4.向量的模

定义

向量 v 的模记作 ∥v∥，计算公式为：

$$
||v||=\sqrt{v_{1}^{2}+v_{2}^{2}+⋯+v_{n}^{2}}=\sqrt{v\cdot v}
$$

几何解释

在二维空间中，向量 v=(v1,v2)的模表示从原点到点 (v1,v2)的距离。在三维空间中，向量 v=(v1,v2,v3)的模表示从原点到点 (v1,v2,v3)的距离。

||v||=1，叫做单位向量的模。如：v=(1,0,0)

性质

1. 非负性：∥v∥≥0，并且 ∥v∥=0 当且仅当 v=0（零向量）。

2. 齐次性：对于任意标量 k，∥kv∥=∣k∣∥v∥。

3. 三角不等式：对于任意向量 u 和 v，∥u+v∥≤∥u∥+∥v∥。

例子：

证明以下公式，如果：

$$
u=\dfrac{1}{||v||}v
$$

则u为v的单位向量。

证明：

$$
||u||=\sqrt{(u\cdot u)}=\sqrt{(\dfrac{1}{||v||}v,\dfrac{1}{||v||}v)}=\dfrac{1}{||v||}\sqrt{(v\cdot v)}=\dfrac{1}{||v||}||v||=1
$$

5.向量的内积

定义

对于两个 n 维向量 a=(a1,a2,…,an) 和 b=(b1,b2,…,bn)，它们的内积（点积）表示为 a⋅b，计算公式为：

$$
a\cdot b=a_{1}b_{1}+a_{2}b_{2}+⋯+a_{n}b_{n}
$$

几何解释

在几何上，内积也可以通过向量的模和它们之间的夹角来表示。具体来说，如果 θ 是向量 a 和 b 之间的夹角，那么内积可以表示为：

$$
a\cdot b=||a||||b||cos⁡(θ)
$$

其中：

• ∥a∥ 和 ∥b∥ 分别是向量 a 和 b 的模（长度）。

• cos⁡(θ)是夹角 θ 的余弦值。

性质

1. 交换律：a⋅b=b⋅a

2. 分配律：a⋅(b+c)=a⋅b+a⋅c

3. 数乘结合律：(ka)⋅b=k(a⋅b)=a⋅(kb)(，其中 k 是标量。

4. 正定性：a⋅a≥0，并且 a⋅a=0 当且仅当 a=0。

例子：

假设有两个三维向量 a 和 b：

a=(2,3,1)，b=(4,−1,2)

计算a和b的内积。

解：

根据内积的定义，两个向量的内积是它们对应分量的乘积之和。具体计算如下：

a⋅b=(2⋅4)+(3⋅−1)+(1⋅2)=8-3+2=7

因此，向量 a 和 b 的内积为：

a⋅b=7

几何解释

如果我们要通过几何方法来验证这个结果，可以使用向量的模和它们之间的夹角。假设 θ 是向量 a和 b 之间的夹角，那么内积可以表示为：

a⋅b=∥a∥∥b∥cos⁡(θ)

首先计算向量 a 和 b 的模：

$$
||a||=\sqrt{2^{2} + 3^{2}+1^{2}}=\sqrt{14}\\ ||b||=\sqrt{4^{2}+(-1)^{2} + 2^{2}}=\sqrt{21}
$$

然后使用内积的结果来求 cos⁡(θ)：

$$
cos⁡(θ)=\dfrac{a\cdot b}{||a||||b||}=\dfrac{7}{\sqrt{14}\sqrt{21}}=\dfrac{1}{\sqrt{6}}=0.408
$$

结论：

向量内积的几何解释其实就是余弦相似度算法的公式，当cos⁡(θ)=1时，表示两个向量重合；当cos⁡(θ)=0时，表示两个向量垂直。

如果使用两个向量分别近似表示两个文本或图像，两个向量的cos⁡(θ)越接近1，表示这两个文本内容越相似，cos⁡(θ)越接近0，表示这两个文本内容越不相似。