本文是关于再生核希尔伯特空间(RKHS)的系列文章之一，旨在深入理解机器学习中的核方法，特别是SVM中的Kernel Trick。通过介绍线性空间、内积、希尔伯特空间的概念，解释如何利用RKHS理论简化高维空间中的计算。文中探讨了核函数的性质，并指出核函数与内积的关系，帮助读者理解在高维空间中样本被映射为函数的抽象概念。
欢迎访问我的个人博客https://qddmj.cn，有更多最新的内容
RKHS系列文章点此进入
讲RKHS的文章有很多，希望这一系列文章能带给你新的思考。
这次系列文章主要进行RKHS相关的理论推导，以便对机器学习中的核方法和核技巧有更深的理解。
我们熟悉的SVM的推导中包含了一些数学技巧，包括最优化理论中的对偶问题，以及初学者很难理解的Reproducing Kernel Hilbert Space (RKHS)。其实RKHS是泛函分析中的一个研究对象，它的难点主要在一些泛函分析的前置知识，只要理解了泛函的一些基本概念和定理，再来看RKHS就会容易很多。
SVM中的Kernel Trick
SVM中的核技巧，就是在样本线性不可分的情况下，将样本映射到一个更高维的空间，也许在更高维空间，样本是线性可分的。
在更高维空间中，可以理解成我们给其添加了更多特征，做了更多特征交叉和非线性组合，期望这些新增加的特征可以帮助我们进行分类。在《统计学习理论》中，第10章有说过，尽管特征空间维度很高，如果样本数量足够多，我们可以以一个小的误差期望来构造分类超平面，这个超平面的泛化能力是不错的。
原SVM的超平面：
f ( x ) = w ⊤ x + b f(\mathrm{x})=\mathrm{w}^\top\mathrm{x}+b f(x)=w⊤x+b
映射到高维的超平面：
f ( x ) = w ⊤ Φ ( x ) + b f(\mathrm{x})=\mathrm{w}^\top\Phi(\mathrm{x})+b f(x)=w⊤Φ(x)+b
Φ \Phi Φ将样本映射到高维空间。得到的分类器为：
f ( x ) = ∑ i N α i y i x i ⊤ x + b → f ( x ) = ∑ i N α i y i Φ ( x i ) ⊤ Φ ( x ) + b \begin{aligned} &f(\mathrm{x})=\sum_i^N \alpha_i y_i \mathrm{x}_i^\top \mathrm{x}+b \\ \rightarrow &f(\mathrm{x})=\sum_i^N \alpha_i y_i \Phi(\mathrm{x}_i)^\top \Phi(\mathrm{x})+b \end{aligned} →f(x)=i∑Nαiyixi⊤x+bf(x)=i
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
