[SVM] 径向基函数(radial based function)如何将低维向量映射到高维向量的

最新推荐文章于 2023-03-12 01:32:38 发布

原创

最新推荐文章于 2023-03-12 01:32:38 发布 · 1.4k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#支持向量机 #kernel #机器学习 #svm

本文详细介绍了RBF函数的定义和性质，揭示了为何RBF函数被用于将低维向量映射到高维空间，以实现支持向量机中的核函数。通过反推RBF核函数的表达式，展示了RBF如何构造一个无穷维的特征向量，使得在高维空间中实现线性可分性，尽管这会带来计算上的挑战。

高斯核函数如何将低维向量映射到高维向量

RBF 函数定义
RBF 函数性质
为什么 RBF 函数是将 $\mathbf{x}$ 被映射到无穷维后构造的核函数？

RBF 函数定义

$\kappa(\mathbf{x_1}, \mathbf{x_2}) = \left<\phi(\mathbf{x_1}), \phi(\mathbf{x_2})\right>=\exp\left(-\frac{||\mathbf{x_1} - \mathbf{x_2}||^2}{2\sigma^2}\right)$
其中， $\mathbf{x_1}, \mathbf{x_2}$ 为低维 $\mathbf{R}^n$ 的向量， $\kappa(\mathbf{x_1}, \mathbf{x_2})$ 是 $\mathbf{x_1}, \mathbf{x_2}$ 映射到高维 $\mathbf{R}^\infty$ 后向量 $\phi(\mathbf{x_1}), \phi(\mathbf{x_2})$ 的核函数。

RBF 函数性质

所有的 $\phi(\mathbf{x})$ 都是 $\mathbf{x}$ 被映射到无穷维空间后的一个在超球面上的点，因为
$||\phi(\mathbf{x}) - \mathbf{0}||^2 = ||\phi(\mathbf{x}) ||^2 = \left<\phi(\mathbf{x}), \phi(\mathbf{x})\right> = \exp\left(-\frac{||\mathbf{x} - \mathbf{x}||^2}{2\sigma^2}\right) = \exp(0) = 1$