矩阵分析与应用(4)

Butterfffly

已于 2022-06-22 20:17:05 修改

阅读量596

点赞数

CC 4.0 BY-SA版权

分类专栏：矩阵分析与应用文章标签：线性代数

于 2022-06-22 20:13:47 首次发布

本文链接：https://blog.youkuaiyun.com/qq_40206924/article/details/125384105

矩阵分析与应用专栏收录该内容

22 篇文章

订阅专栏

学习来源：《矩阵分析与应用》张贤达清华大学出版社

1. 内积与范数

1.1 向量的内积

根据元素取值方式的不同，向量分为常数向量、函数向量和随机向量。常数向量是元素为常数的向量；函数向量是元素取某个变量的函数值得向量；而随机向量则是元素为随机变量的向量。

设 $V$ 为向量空间，函数 $\left \langle x,y \right \rangle:V\times V\rightarrow R$ 称为向量 $x$ 与 $y$ 的内积，对所有的 $x,y,z\in V$ ，有：

1） $\left \langle x,x \right \rangle\geqslant 0$ ；

2） $\left \langle x,x \right \rangle=0$ ，当且仅当 $x=0$ ；

3） $\left \langle x+y,z \right \rangle=\left \langle x,z \right \rangle+\left \langle y,z \right \rangle$ ；

4） $\left \langle cx,y \right \rangle=c\left \langle x,y \right \rangle$ ；

5） $\left \langle x,y \right \rangle=\left \langle y,x \right \rangle$ 。

1.2 常数向量的内积

两个 $m\times1$ 维常数向量 $x=[x_{1},x_{2},\cdots ,x_{m}]^{T}$ 和 $y=[y_{1},y_{2},\cdots ,y_{m}]^{T}$ 的内积定义为：

$\left \langle x,y \right \rangle=\sum_{i=1}^{m}x_{i}y_{i}$

两个向量之间的夹角定义为：

$cos\theta =\frac{\left \langle x,y \right \rangle}{\sqrt{\left \langle x,x \right \rangle}\sqrt{\left \langle y,y \right \rangle}}$

当向量 $x$ 与向量 $y$ 的内积为0时， $x$ 和 $y$ 正交。

1.3 常数向量的范数

L-P范数：是一组范数，定义如下：

$L_{p}=\left \| X \right \|_{p}=\sqrt[p]{\sum_{i=1}^{n}x_{i}^{p}},X=(x_{1},x_{2},\cdots ,x_{n})$

在机器学习中常用到L1范数和L2范数：

1）L1范数对应 L-P 范数中 P 为 1 的情况：

$\left \| X \right \|_{1}=\sum_{i=1}^{n}\left | x_{i} \right |$

2）L2范数对应 L-P 范数中 P 为 2 的情况：

$\left \|X \right \|_{2}=\sqrt{\sum_{i=1}^{n}x_{i}^{2}}$

1.4 函数向量的内积与范数

若 $x(t)$ 和 $y(t)$ 分别是变量 $t$ 的函数向量，则他们的内积定义为：

$\left \langle x(t),y(t) \right \rangle=\int_{a}^{b}x(t)y(t)dt$

函数向量的范数为：

$\left \| x(t) \right \|=\sqrt{\int_{a}^{b}x^{2}(t)dt}$

1.5 随机向量的内积与范数

若 $x(\xi)$ 和 $y(\xi)$ 分别是样本变量 $\xi$ 的随机向量，则它们的内积定义为：

$\left \langle x(\xi),y(\xi) \right \rangle=E\left \{ x(\xi)y(\xi) \right \}$

随机向量 $x(\xi )$ 的范数定义为：

$\left \| x(\xi) \right \|^2=E\left \{ x^2(\xi) \right \}$

2. 向量的相似度

考虑 $M$ 个类型的模式，假定已经抽取出对应的 $M$ 个样本模式向量 $s_{1},s_{2},\cdots ,s_{M}$ 。给定一个未知模式向量 $x$ ，判断 $x$ 属于哪一类模式。这个问题称为模式分类，模式分类的基本思想是将未知模式向量 $x$ 和 $M$ 个样本模式向量进行对比，看 $x$ 与哪一个样本模式向量最相似，并据此作出模式分类的判断。