kernel trick的原始想法

本文探讨了在支持向量机(SVM)中利用Kernel技巧简化运算的方法。通过使用Kernel函数,可以在不显式升维的情况下计算高维空间内的向量内积,从而大幅度减少计算复杂度。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

对偶SVM中依然包含了对升维后的向量做内积的操作。而对原来的数据集做升维就要消耗大量的时间。能不能采用一种技巧来节约存储空间和减小运算复杂度呢?


以二次非线性变换为例,如下图:


两个做内积就是以下的式子:

也就是说,可以先对原始的数据做内积,再进行一些很简单的代数运算得到和之前一样的结果。受此启发,就可以定义一个kernel函数,这个函数的作用就是将原来的数据集映射到一个高维空间里,并对高维空间里的向量做内积。而定义好这个函数以后,就可以不用计算升维的过程,直接得到升维后的向量内积。那么,对于Q的计算就十分方便了。


那么,在定义好kernel函数后,如何用已经定义好的kernel函数求超平面函数和b呢?直接带入就好啦


至此,我们将所有先升维再做内积的动作变成了直接使用kernel函数,大大简化了运算。

如果我们选取多项式函数作为kernel函数的话,一般选(a+bx'x)^q这种形式来运算,目的是为了好算。



### 支持向量机的核心思想 支持向量机(Support Vector Machine, SVM)是一种基于统计学习理论的监督学习方法,主要用于解决分类问题。其核心目标是在特征空间中寻找一个最优超平面,使得不同类别的样本能够被清晰地区分开来,并且最大化两类样本到这个超平面的距离,这一距离被称为间隔(Margin)。通过这种方式,SVM不仅实现了良好的泛化能力,还能够在训练集上的表现达到最佳效果[^1]。 为了更深入理解这一点,可以将SVM的目标分为两个部分: 1. **找到分离超平面**:对于线性可分的数据集,存在多个可能的超平面能将正负样本区分开,而SVM试图从中选出具有最大间隔的那个超平面。这种策略有助于提高模型对未来未知数据的适应性和鲁棒性。 2. **引入软间隔机制**:当数据并非完全线性可分时,允许一定程度的误分类现象发生,这便是所谓的“软间隔”。此时,在优化过程中会加入惩罚项以平衡错误率与间隔大小的关系[^2]。 --- ### 数学建模过程 #### 1. 线性可分情况下的数学描述 假设给定一组带标签的数据 \((\mathbf{x}_i, y_i)\),其中 \(y_i\) 表示类别标记 (\(y_i \in \{-1,+1\}\)),则理想状态下的决策边界应满足如下条件: \[ y_i(\mathbf{w}^\top \mathbf{x}_i + b) \geq 1, \quad i=1,\dots,n \] 这里,\(\mathbf{w}\) 是权重向量,\(b\) 是偏置参数。\(\mathbf{w}^\top \mathbf{x}_i + b =0\) 定义了一个超平面方程;不等式的右侧表明只有那些位于正确一侧并远离边界的点才被认为是有效分类的结果。进一步地,可以通过最小化函数范数 \(\|\mathbf{w}\|^2/2\) 来求解上述约束最优化问题,从而得到最终的最大间隔超平面。 #### 2. 非线性场景下核技巧的应用 然而实际应用中很多情况下无法简单依靠直线或者平面完成区分工作。为此提出了利用映射函数 φ 将原始输入转换至高维甚至无限维度的空间后再执行操作的想法——这就是著名的「Kernel Trick」技术。具体而言就是不必显式计算每一个坐标位置的具体数值变化而是借助特定形式内积运算间接达成目的: \[ K(\mathbf{x}_i, \mathbf{x}_j)=<φ(\mathbf{x}_i), φ(\mathbf{x}_j)> \] 常见的几种核函数包括多项式核、径向基(RBF)核以及sigmoid型等等。每种类型的选取取决于具体的业务背景及其特性匹配程度如何决定采用哪一种更为合适一些[^2]。 ```python from sklearn import svm import numpy as np # 构造简单的二维数据集 X = np.array([[0, 0], [1, 1]]) Y = np.array([0, 1]) # 创建SVM实例对象,默认使用RBF Kernel clf = svm.SVC(kernel='rbf', C=1.0) # 训练模型 clf.fit(X, Y) print(clf.support_vectors_) # 输出支持向量 print(clf.dual_coef_) # 双重系数α* print(clf.intercept_[0]) # 截距b ``` --- ### 总结 综上所述,SVM作为一种强大的机器学习工具,凭借其独特的几何直观和坚实的理论基础赢得了众多研究者青睐。无论是在线性还是非线性的复杂模式识别任务面前均表现出色。与此同时需要注意的是选择恰当的参数设置比如C值调节松弛变量的重要性同样不可忽视[^1][^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值