向量
1.定义
向量可以用多种方式定义,以下是几种常见的定义:
- 几何定义:向量是一个有方向和大小的量,通常用箭头表示。向量的起点称为原点,终点称为向量的端点。
- 代数定义:向量是一个有序的数组,通常表示为列向量或行向量。
例如,一个 n 维列向量可以表示为:
v
=
(
v
1
v
2
⋮
v
n
)
v=\begin{pmatrix}v_{1}\\v_{2}\\⋮\\v_{n}\end{pmatrix}
v=
v1v2⋮vn
一个 n 维行向量可以表示为:
v
=
(
v
1
v
2
…
v
n
)
v=\begin{pmatrix}v_{1} & v_{2} & \ldots & v_{n}\end{pmatrix}
v=(v1v2…vn)
其中 v1,v2,…,vn是向量的分量。
行向量和列向量再本质上没有区别。
向量的表示
向量可以用多种方式表示,以下是几种常见的表示方法:
- 几何表示:在二维或三维空间中,向量通常用箭头表示,箭头的方向表示向量的方向,箭头的长度表示向量的大小。
- 代数表示:向量可以用列向量或行向量表示,如上所述。
- 坐标表示:在二维或三维空间中,向量可以用坐标表示。例如,二维向量 v=(v1,v2)v=(v1,v2) 表示在 xx 轴和 yy 轴上的分量。
2. 向量的运算
向量有几种基本的运算,包括加法、数乘、点积和叉积。
向量加法
向量加法是将两个向量的对应分量相加,得到一个新的向量。例如,两个 n 维向量 u 和 v 的加法为:
u
+
v
=
(
u
1
u
2
⋮
u
n
)
+
(
v
1
v
2
⋮
v
n
)
=
(
u
1
+
v
1
u
2
+
v
2
⋮
u
n
+
v
n
)
u+v=\begin{pmatrix}u_{1}\\u_{2}\\⋮\\u_{n}\end{pmatrix}+\begin{pmatrix}v_{1}\\v_{2}\\⋮\\v_{n}\end{pmatrix}=\begin{pmatrix}u_{1}+v_{1}\\u_{2}+v_{2}\\⋮\\u_{n}+v_{n}\end{pmatrix}
u+v=
u1u2⋮un
+
v1v2⋮vn
=
u1+v1u2+v2⋮un+vn
向量数乘
向量数乘是将一个向量的每个分量乘以一个标量,得到一个新的向量。例如,一个 n 维向量 v 与标量 k 的数乘为:
k
v
=
k
(
v
1
v
2
⋮
v
n
)
=
(
k
v
1
k
v
2
⋮
k
v
n
)
kv=k\begin{pmatrix}v_{1}\\v_{2}\\⋮\\v_{n}\end{pmatrix}=\begin{pmatrix}kv_{1}\\kv_{2}\\⋮\\kv_{n}\end{pmatrix}
kv=k
v1v2⋮vn
=
kv1kv2⋮kvn
向量点积
向量点积(内积)是将两个向量的对应分量相乘,然后将结果相加,得到一个标量。例如,两个 n 维向量 u 和 v 的点积为:
u
⋅
v
=
u
1
v
1
+
u
2
v
2
+
⋯
+
u
n
v
n
u⋅v=u_{1}v_{1}+u_{2}v_{2}+⋯+u_{n}v_{n}
u⋅v=u1v1+u2v2+⋯+unvn
例子:
假设有两个向量 u 和 v
u
=
(
1
2
3
)
,
v
=
(
4
5
6
)
u=\begin{pmatrix}1\\2\\3\end{pmatrix},v=\begin{pmatrix}4\\5\\6\end{pmatrix}
u=
123
,v=
456
求u+v,2u,uv
解:
u
+
v
=
(
1
2
3
)
+
(
4
5
6
)
=
(
5
7
9
)
u+v=\begin{pmatrix}1\\2\\3\end{pmatrix} + \begin{pmatrix}4\\5\\6\end{pmatrix}=\begin{pmatrix}5\\7\\9\end{pmatrix}
u+v=
123
+
456
=
579
2 u = 2 ( 1 2 3 ) = ( 2 4 6 ) 2u=2\begin{pmatrix}1\\2\\3\end{pmatrix}=\begin{pmatrix}2\\4\\6\end{pmatrix} 2u=2 123 = 246
u v = ( 1 2 3 ) ( 4 5 6 ) = 1 × 4 + 2 × 5 + 3 × 6 = 32 uv=\begin{pmatrix}1\\2\\3\end{pmatrix}\begin{pmatrix}4\\5\\6\end{pmatrix}=1\times 4 + 2\times 5 + 3\times 6=32 uv= 123 456 =1×4+2×5+3×6=32
3.矩阵的特征值和特征向量
定义
设 A 是一个 n×n 的方阵。如果存在一个非零列向量 v 和一个标量 λ,使得:
A
v
=
λ
v
Av=λv
Av=λv
那么 λ 称为矩阵 A的特征值,v 称为对应于特征值 λ 的特征向量。
注:λ可以为0,而v不能为0,并且v是列向量。因为A是n维矩阵,如果v是行向量,则维数是1xn,不满足矩阵相乘。
将定义中的等式移项,得到:
(
A
−
λ
E
)
v
=
0
(A-λE)v=0
(A−λE)v=0
由于v是非零列向量,相当于求上述方程的非零解,由方程有非零解的充要条件是行列式为0的定理可知:
∣
A
−
λ
E
∣
=
0
\begin{vmatrix}A-λE\end{vmatrix}=0
A−λE
=0
说明:(A-λE):特征矩阵;|A-λE|:特征行列式或特征多项式;|A-λE|=0:特征方程
结论:
1.λ是A的特征值,v是对应λ的一个特征向量,则cv也是λ的一个特征向量,c为不等于0的标量。
根据定义:
A
v
=
λ
v
Av=λv
Av=λv
等式两边同乘以c
c
A
v
=
c
λ
v
=
>
A
(
c
v
)
=
λ
(
c
v
)
cAv=cλv=>A(cv)=λ(cv)
cAv=cλv=>A(cv)=λ(cv)
所以cv也是λ的一个特征向量。
例子:
1.假设有矩阵A:
A
=
(
−
1
1
0
−
4
3
0
1
0
2
)
A=\begin{pmatrix}-1 & 1 & 0\\-4 & 3 & 0\\1 & 0 & 2\end{pmatrix}
A=
−1−41130002
求A的特征值λ及对应λ的特征向量。
解:根据定义可知:
∣
A
−
λ
E
∣
=
0
=
>
∣
(
−
1
1
0
−
4
3
0
1
0
2
)
−
(
λ
0
0
0
λ
0
0
0
λ
)
∣
=
0
=
>
∣
−
1
−
λ
1
0
−
4
3
−
λ
0
1
0
2
−
λ
∣
=
0
\begin{vmatrix}A-λE\end{vmatrix}=0=>\begin{vmatrix}\begin{pmatrix}-1 & 1 & 0\\-4 & 3 & 0\\1 & 0 & 2\end{pmatrix}-\begin{pmatrix}λ & 0 & 0\\0 & λ & 0\\0 & 0 & λ\end{pmatrix}\end{vmatrix}=0=>\begin{vmatrix} -1-λ & 1 & 0 \\ -4 & 3-λ & 0 \\ 1 & 0 & 2-λ \end{vmatrix}=0
A−λE
=0=>
−1−41130002
−
λ000λ000λ
=0=>
−1−λ−4113−λ0002−λ
=0
1.计算行列式:
∣
−
1
−
λ
1
0
−
4
3
−
λ
0
1
0
2
−
λ
∣
=
(
2
−
λ
)
(
−
1
)
3
+
3
∣
−
1
−
λ
1
−
4
3
−
λ
∣
=
(
2
−
λ
)
(
−
1
)
[
(
1
+
λ
)
(
3
−
λ
)
+
4
]
=
(
2
−
λ
)
(
λ
−
1
)
2
\begin{vmatrix} -1-λ & 1 & 0 \\ -4 & 3-λ & 0 \\ 1 & 0 & 2-λ \end{vmatrix}=(2-λ)(-1)^{3+3}\begin{vmatrix} -1-λ & 1 \\ -4 & 3-λ \end{vmatrix}=(2-λ)(-1)[(1+λ)(3-λ)+4]=(2-λ)(λ-1)^{2}
−1−λ−4113−λ0002−λ
=(2−λ)(−1)3+3
−1−λ−413−λ
=(2−λ)(−1)[(1+λ)(3−λ)+4]=(2−λ)(λ−1)2
所以
(
2
−
λ
)
(
λ
−
1
)
2
(2-λ)(λ-1)^{2}
(2−λ)(λ−1)2
所以λ1=2,λ2=λ3=1
2.计算特征向量
当λ=2时
(
λ
E
−
A
)
=
>
(
1
+
λ
−
1
0
4
λ
−
3
0
−
1
0
λ
−
2
)
=
>
(
3
−
1
0
4
−
1
0
−
1
0
0
)
\begin{pmatrix}λE-A\end{pmatrix}=>\begin{pmatrix} 1+λ & -1 & 0 \\ 4 & λ-3 & 0 \\ -1 & 0 & λ-2 \end{pmatrix}=>\begin{pmatrix} 3 & -1 & 0 \\ 4 & -1 & 0 \\ -1 & 0 & 0 \end{pmatrix}
(λE−A)=>
1+λ4−1−1λ−3000λ−2
=>
34−1−1−10000
将矩阵进行初等行变换,形成行简化阶梯形矩阵
(
3
−
1
0
4
−
1
0
−
1
0
0
)
−
>
(
1
0
0
4
−
1
0
3
−
1
0
)
−
>
(
1
0
0
0
−
1
0
0
−
1
0
)
−
>
(
1
0
0
0
1
0
0
0
0
)
\begin{pmatrix}3 & -1 & 0 \\4 & -1 & 0 \\-1 & 0 & 0\end{pmatrix}->\begin{pmatrix}1 & 0 & 0 \\4 & -1 & 0 \\ 3 & -1 & 0\end{pmatrix}->\begin{pmatrix}1 & 0 & 0 \\0 & -1 & 0 \\ 0 & -1 & 0\end{pmatrix}->\begin{pmatrix}1 & 0 & 0 \\0 & 1 & 0 \\ 0 & 0 & 0\end{pmatrix}
34−1−1−10000
−>
1430−1−1000
−>
1000−1−1000
−>
100010000
可以得出v1=0,v2=0,v3为任意数,取v3=1,所以特征向量
v
=
c
(
0
0
1
)
,
c
≠
0
v=c\begin{pmatrix}0 \\ 0\\1\end{pmatrix},c\neq 0
v=c
001
,c=0
当λ=1时
(
λ
E
−
A
)
=
>
(
1
+
λ
−
1
0
4
λ
−
3
0
−
1
0
λ
−
2
)
=
>
(
2
−
1
0
4
−
2
0
−
1
0
−
1
)
\begin{pmatrix}λE-A\end{pmatrix}=>\begin{pmatrix} 1+λ & -1 & 0 \\ 4 & λ-3 & 0 \\ -1 & 0 & λ-2 \end{pmatrix}=>\begin{pmatrix} 2 & -1 & 0 \\ 4 & -2 & 0 \\ -1 & 0 & -1 \end{pmatrix}
(λE−A)=>
1+λ4−1−1λ−3000λ−2
=>
24−1−1−2000−1
将矩阵进行初等行变换,形成行简化阶梯形矩阵
(
2
−
1
0
4
−
2
0
−
1
0
−
1
)
−
>
(
−
1
0
−
1
2
−
1
0
4
−
2
0
)
−
>
(
1
0
1
0
1
2
0
0
0
)
\begin{pmatrix}2 & -1 & 0 \\4 & -2 & 0 \\-1 & 0 & -1\end{pmatrix}->\begin{pmatrix}-1 & 0 & -1 \\2 & -1 & 0 \\4 & -2 & 0\end{pmatrix}->\begin{pmatrix}1 & 0 & 1 \\0 & 1 & 2 \\0 & 0 & 0\end{pmatrix}
24−1−1−2000−1
−>
−1240−1−2−100
−>
100010120
可以得出v1=-v3,v2=-2v3,v3为任意数,取v3=-1,所以特征向量:
v
=
c
(
1
2
−
1
)
,
c
≠
0
v=c\begin{pmatrix}1 \\ 2\\-1\end{pmatrix},c\neq 0
v=c
12−1
,c=0
练习:
1.假设有矩阵A
A
=
(
1
−
2
2
−
2
−
2
4
2
4
−
2
)
A=\begin{pmatrix}1 & -2 & 2 \\-2 & -2 & 4 \\2 & 4& -2\end{pmatrix}
A=
1−22−2−2424−2
求A的特征值λ及对应λ的特征向量。
解:根据特征值定义可知:
∣
λ
E
−
A
∣
=
∣
(
λ
0
0
0
λ
0
0
0
λ
)
−
(
1
−
2
2
−
2
−
2
4
2
4
−
2
)
∣
=
∣
λ
−
1
2
−
2
2
λ
+
2
−
4
−
2
−
4
λ
+
2
∣
=
0
|λE-A|=\begin{vmatrix}\begin{pmatrix}λ & 0 & 0\\0 & λ & 0\\0 & 0 & λ\end{pmatrix}-\begin{pmatrix}1 & -2 & 2 \\-2 & -2 & 4 \\2 & 4& -2\end{pmatrix}\end{vmatrix}=\begin{vmatrix}λ-1 & 2 & -2 \\2 & λ+2 & -4 \\-2 & -4& λ+2\end{vmatrix}=0
∣λE−A∣=
λ000λ000λ
−
1−22−2−2424−2
=
λ−12−22λ+2−4−2−4λ+2
=0
1.计算行列式
∣
λ
−
1
2
−
2
2
λ
+
2
−
4
−
2
−
4
λ
+
2
∣
=
∣
λ
−
1
2
−
2
2
λ
+
2
−
4
0
λ
−
2
λ
−
2
∣
=
(
λ
−
2
)
∣
λ
−
1
2
−
2
2
λ
+
2
−
4
0
1
1
∣
=
(
λ
−
2
)
[
(
−
1
)
3
+
2
∣
λ
−
1
−
2
2
−
4
∣
+
(
−
1
)
3
+
3
∣
λ
−
1
2
2
λ
+
2
∣
]
=
(
λ
−
2
)
(
λ
−
2
)
(
λ
+
7
)
=
0
\begin{vmatrix}λ-1 & 2 & -2 \\2 & λ+2 & -4 \\-2 & -4& λ+2\end{vmatrix}=\begin{vmatrix}λ-1 & 2 & -2 \\2 & λ+2 & -4 \\0 & λ-2& λ-2\end{vmatrix}=(λ-2)\begin{vmatrix}λ-1 & 2 & -2 \\2 & λ+2 & -4 \\0 & 1& 1\end{vmatrix}\\=(λ-2)[(-1)^{3+2}\begin{vmatrix}λ-1 & -2\\2 & -4\end{vmatrix}+(-1)^{3+3}\begin{vmatrix}λ-1 & 2\\2 & λ+2\end{vmatrix}]=(λ-2)(λ-2)(λ+7)=0
λ−12−22λ+2−4−2−4λ+2
=
λ−1202λ+2λ−2−2−4λ−2
=(λ−2)
λ−1202λ+21−2−41
=(λ−2)[(−1)3+2
λ−12−2−4
+(−1)3+3
λ−122λ+2
]=(λ−2)(λ−2)(λ+7)=0
所以λ1=λ2=2,λ3=-7
2.计算特征向量
当λ=-7时
λ
E
−
A
=
(
−
8
2
−
2
2
−
5
−
4
−
2
−
4
−
5
)
−
>
(
1
0
1
2
0
1
1
0
0
0
)
λE-A=\begin{pmatrix}-8 & 2 & -2\\2 & -5 & -4\\-2 & -4 & -5\end{pmatrix}->\begin{pmatrix}1 & 0 & \dfrac{1}{2}\\0 & 1 & 1\\0 & 0 & 0\end{pmatrix}
λE−A=
−82−22−5−4−2−4−5
−>
1000102110
可以得出v1=-(1/2)v3,v2=-v3,v3为任意数,取v3=-2,所以特征向量:
v
=
c
(
1
2
−
2
)
,
c
≠
0
v=c\begin{pmatrix}1 \\ 2\\-2\end{pmatrix},c\neq 0
v=c
12−2
,c=0
同理,当λ=2时
λ
E
−
A
=
(
1
2
−
2
2
4
−
4
−
2
−
4
4
)
−
>
(
1
2
−
2
0
0
0
0
0
0
)
λE-A=\begin{pmatrix}1 & 2 & -2\\2 & 4 & -4\\-2 & -4 & 4\end{pmatrix}->\begin{pmatrix}1 & 2 & -2\\0 & 0 & 0\\0 & 0 & 0\end{pmatrix}
λE−A=
12−224−4−2−44
−>
100200−200
所以:
v
1
=
2
v
3
−
2
v
2
v_{1}=2v_{3}-2v_{2}
v1=2v3−2v2
当v2=1,v3=0时,v1=-2;当v3=1,v2=0时,v1=2
所以特征向量为
v
=
c
1
(
−
2
1
0
)
+
c
2
(
2
0
1
)
,
c
1
,
c
2
不同时为
0
v=c_{1}\begin{pmatrix}-2 \\ 1\\0\end{pmatrix}+c_{2}\begin{pmatrix}2 \\ 0\\1\end{pmatrix},c_{1},c_{2}不同时为0
v=c1
−210
+c2
201
,c1,c2不同时为0
4.向量的模
定义
向量 v 的模记作 ∥v∥,计算公式为:
∣
∣
v
∣
∣
=
v
1
2
+
v
2
2
+
⋯
+
v
n
2
=
v
⋅
v
||v||=\sqrt{v_{1}^{2}+v_{2}^{2}+⋯+v_{n}^{2}}=\sqrt{v\cdot v}
∣∣v∣∣=v12+v22+⋯+vn2=v⋅v
几何解释
在二维空间中,向量 v=(v1,v2)的模表示从原点到点 (v1,v2)的距离。在三维空间中,向量 v=(v1,v2,v3)的模表示从原点到点 (v1,v2,v3)的距离。
||v||=1,叫做单位向量的模。如:v=(1,0,0)
性质
-
非负性:∥v∥≥0,并且 ∥v∥=0 当且仅当 v=0(零向量)。
-
齐次性:对于任意标量 k,∥kv∥=∣k∣∥v∥。
-
三角不等式:对于任意向量 u 和 v,∥u+v∥≤∥u∥+∥v∥。
例子:
证明以下公式,如果:
u
=
1
∣
∣
v
∣
∣
v
u=\dfrac{1}{||v||}v
u=∣∣v∣∣1v
则u为v的单位向量。
证明:
∣
∣
u
∣
∣
=
(
u
⋅
u
)
=
(
1
∣
∣
v
∣
∣
v
,
1
∣
∣
v
∣
∣
v
)
=
1
∣
∣
v
∣
∣
(
v
⋅
v
)
=
1
∣
∣
v
∣
∣
∣
∣
v
∣
∣
=
1
||u||=\sqrt{(u\cdot u)}=\sqrt{(\dfrac{1}{||v||}v,\dfrac{1}{||v||}v)}=\dfrac{1}{||v||}\sqrt{(v\cdot v)}=\dfrac{1}{||v||}||v||=1
∣∣u∣∣=(u⋅u)=(∣∣v∣∣1v,∣∣v∣∣1v)=∣∣v∣∣1(v⋅v)=∣∣v∣∣1∣∣v∣∣=1
5.向量的内积
定义
对于两个 n 维向量 a=(a1,a2,…,an) 和 b=(b1,b2,…,bn),它们的内积(点积)表示为 a⋅b,计算公式为:
a
⋅
b
=
a
1
b
1
+
a
2
b
2
+
⋯
+
a
n
b
n
a\cdot b=a_{1}b_{1}+a_{2}b_{2}+⋯+a_{n}b_{n}
a⋅b=a1b1+a2b2+⋯+anbn
几何解释
在几何上,内积也可以通过向量的模和它们之间的夹角来表示。具体来说,如果 θ 是向量 a 和 b 之间的夹角,那么内积可以表示为:
a
⋅
b
=
∣
∣
a
∣
∣
∣
∣
b
∣
∣
c
o
s
(
θ
)
a\cdot b=||a||||b||cos(θ)
a⋅b=∣∣a∣∣∣∣b∣∣cos(θ)
其中:
- ∥a∥ 和 ∥b∥ 分别是向量 a 和 b 的模(长度)。
- cos(θ)是夹角 θ 的余弦值。
性质
- 交换律:a⋅b=b⋅a
- 分配律:a⋅(b+c)=a⋅b+a⋅c
- 数乘结合律:(ka)⋅b=k(a⋅b)=a⋅(kb)(,其中 k 是标量。
- 正定性:a⋅a≥0,并且 a⋅a=0 当且仅当 a=0。
例子:
假设有两个三维向量 a 和 b:
a=(2,3,1),b=(4,−1,2)
计算a和b的内积。
解:
根据内积的定义,两个向量的内积是它们对应分量的乘积之和。具体计算如下:
a⋅b=(2⋅4)+(3⋅−1)+(1⋅2)=8-3+2=7
因此,向量 a 和 b 的内积为:
a⋅b=7
几何解释
如果我们要通过几何方法来验证这个结果,可以使用向量的模和它们之间的夹角。假设 θ 是向量 a和 b 之间的夹角,那么内积可以表示为:
a⋅b=∥a∥∥b∥cos(θ)
首先计算向量 a 和 b 的模:
∣
∣
a
∣
∣
=
2
2
+
3
2
+
1
2
=
14
∣
∣
b
∣
∣
=
4
2
+
(
−
1
)
2
+
2
2
=
21
||a||=\sqrt{2^{2} + 3^{2}+1^{2}}=\sqrt{14}\\ ||b||=\sqrt{4^{2}+(-1)^{2} + 2^{2}}=\sqrt{21}
∣∣a∣∣=22+32+12=14∣∣b∣∣=42+(−1)2+22=21
然后使用内积的结果来求 cos(θ):
c
o
s
(
θ
)
=
a
⋅
b
∣
∣
a
∣
∣
∣
∣
b
∣
∣
=
7
14
21
=
1
6
=
0.408
cos(θ)=\dfrac{a\cdot b}{||a||||b||}=\dfrac{7}{\sqrt{14}\sqrt{21}}=\dfrac{1}{\sqrt{6}}=0.408
cos(θ)=∣∣a∣∣∣∣b∣∣a⋅b=14217=61=0.408
结论:
向量内积的几何解释其实就是余弦相似度算法的公式,当cos(θ)=1时,表示两个向量重合;当cos(θ)=0时,表示两个向量垂直。
如果使用两个向量分别近似表示两个文本或图像,两个向量的cos(θ)越接近1,表示这两个文本内容越相似,cos(θ)越接近0,表示这两个文本内容越不相似。