再生希尔伯特空间与核函数讲解

再生希尔伯特空间与核函数讲解

空间

空间的概念就是 空间 = 集合 + 结构

线性空间/向量空间(Linear Space/Vector Space)

线性空间就是 线性空间 = 集合 + 线性结构 ，而其中的线性结构就是 线性结构 = 加法 + 数乘

简单说线性空间就是一系列向量的集合并且只满足加法和标量乘（向量的相乘）操作的集合。

加法运算：首先设一个集合$V$,在集合$V$中定义元素的加法运算：$\forall x,y\in V$,在$V$中都有唯一的一个元素$\gamma$与之对应，称为$x与y$的和，即$x+y$.

数乘运算：数乘就是用一个数字去乘，这个数字的来源就是一个数域$F$，$\forall a\in F,x\in V,$在$V$中都有唯一的元素$\delta$与之对应，称为$a与x$的数量乘积

除了运算，以上的两种运算还要满足下面的八种性质：

加法

1. $x+(y+z)=(x+y)+z$
2. $x+y=y+x$
3. 存在一个元素$0\in V$,使得$x+0=x$，$\forall x\in V$
4. $\forall x\in V$,存在一个元素$-x\in V$,使得$x+(-x)=0$.

数乘

1. $1x=x$
2. $(ab)x=a(bx)$

二者都有：

1. $(a+b)x=ax+bx$
2. $a(x+y)=ax+ay$

满足以上条件，则称V是数域F上的线性空间或者向量空间，V中的元素称为向量。

度量空间

度量空间 = 集合 + 拓扑结构

给定一个集合$V$，在$V$上定义一种新的运算：距离：$V\times V\to R,\forall x,y\in V,$在$R$中都有唯一的元素$\delta$与之对应，称为$x,y$之间的距离。

满足的性质：

1. $d(x,y)⩾0,\forall x,y\in V$且$d(x,y)=0\iff x=y$（非负性）
2. $d(x,y)⩽d(x,y)+d(y,z)$（三角不等式）
3. $d(x,y)=d(y,x)$（自反性）

其中$(V,d)$为度量空间或者距离空间，其中V的元素称为点。

赋范线性空间/范数向量空间

赋范线性空间 = 线性空间 + 范数 ：就是给线性空间穿上拓扑结构的外衣。

设$V$是一个实线性空间，对应的数域为$R$，在其上定义范数运算$\Vert \cdot \Vert :V\to R,$即$\forall x\in V,$在$R$中都有唯一的元素$\delta$与之对应，称之为x的范数，记为$\Vert x\Vert$。

满足的性质：

1. $\Vert x\Vert ⩾0$且$\Vert x\Vert =0\iff x=0$（非负性）
2. $\Vert ax\Vert =|a|\Vert x\Vert ,a\in R$（齐次性）
3. $\Vert x+y\Vert ⩽\Vert x\Vert +\Vert y\Vert ,x,y\in V$（三角不等式）

则称$(V,\Vert \cdot \Vert )$为赋范线性空间。

如果我们使用范数来定义距离，即令$d(x,y)=\Vert x-y\Vert$,则

1. $d(x,y)⩾0,\forall x,y\in V$且$d(x,y)=0\iff x=y$
2. $d(x,y)=\Vert x-z\Vert =\Vert x-y+y-z\Vert ⩽\Vert x-y\Vert +\Vert y-z\Vert =d(x,y)+d(y,z)$

所以d是V上的距离，$(V,d)$是度量空间，赋范线性空间V也具有拓扑结构。

距离与范数的关系

距离是空间中任意两点$x,y$满足以下三个条件：

1. $d(x,y)⩾0,\forall x,y\in V$且$d(x,y)=0\iff x=y$
2. $d(x,y)⩽d(x,y)+d(y,z)$
3. $d(x,y)=d(y,$