SVM核函数

以下是几种常用的核函数表示:

线性核(Linear Kernel)


多项式核(Polynomial Kernel)


径向基核函数(Radial Basis Function)

也叫高斯核(Gaussian Kernel),因为可以看成如下核函数的领一个种形式:

径向基函数是指取值仅仅依赖于特定点距离的实值函数,也就是 。任意一个满足 特性的函数 Φ都叫做径向量函数,标准的一般使用欧氏距离,尽管其他距离函数也是可以的。所以另外两个比较常用的核函数,幂指数核,拉普拉斯核也属于径向基核函数。此外不太常用的径向基核还有ANOVA核,二次有理核,多元二次核,逆多元二次核。
幂指数核(Exponential Kernel)
 
拉普拉斯核(Laplacian Kernel)
 
ANOVA核(ANOVA Kernel)
 
二次有理核(Rational Quadratic Kernel)
 
多元二次核(Multiquadric Kernel)
 
逆多元二次核(Inverse Multiquadric Kernel)
 
另外一个简单实用的是 Sigmoid核(Sigmoid Kernel)
 
以上几种是比较常用的,大部分在SVM,SVM-light以及RankSVM中可用参数直接设置。还有其他一些不常用的,如小波核,贝叶斯核,可以需要通过代码自己指定。



(转载请注明作者和出处:http://blog.youkuaiyun.com/xiaowei_cqu 未经允许请勿用于商业用途)

支持向量机(SVM)是一种有监督的机器学习模型,核函数SVM中起着关键作用,它能将输入数据映射到高维特征空间,使得在低维空间中线性不可分的数据在高维空间中变得线性可分。以下是几种常见的SVM核函数介绍: ### 线性核函数(Linear Kernel) 线性核函数是最简单的核函数,表达式为 $K(x_i, x_j) = x_i^T x_j$,其中 $x_i$ 和 $x_j$ 是输入样本。线性核函数直接在原始特征空间中进行计算,适用于数据本身就是线性可分或者近似线性可分的情况。由于计算简单,训练速度快,在大规模数据集上表现较好。例如在文本分类任务中,当特征维度较高且数据近似线性可分时,线性核函数常常能取得不错的效果。 ```python from sklearn import svm import numpy as np # 生成一些示例数据 X = np.array([[0, 0], [1, 1]]) y = np.array([0, 1]) # 创建使用线性核的SVM分类器 clf = svm.SVC(kernel='linear') clf.fit(X, y) ``` ### 多项式核函数(Polynomial Kernel) 多项式核函数的表达式为 $K(x_i, x_j) = (\gamma x_i^T x_j + r)^d$,其中 $\gamma$ 是核系数,$r$ 是偏移项,$d$ 是多项式的次数。多项式核函数可以处理非线性可分的数据,通过调整 $\gamma$、$r$ 和 $d$ 等参数,可以改变特征空间的映射方式。当 $d = 1$ 时,多项式核函数退化为线性核函数。 ```python # 创建使用多项式核的SVM分类器 clf_poly = svm.SVC(kernel='poly', degree=3, gamma='scale') clf_poly.fit(X, y) ``` ### 径向基核函数(Radial Basis Function Kernel,RBF) 径向基核函数也称为高斯核函数,是最常用的核函数之一,表达式为 $K(x_i, x_j) = \exp(-\gamma \|x_i - x_j\|^2)$,其中 $\gamma > 0$ 是核系数。RBF核函数可以将输入数据映射到无限维的特征空间,具有很强的非线性处理能力。$\gamma$ 参数控制了数据映射后的分布情况,$\gamma$ 值越大,模型对数据的拟合程度越高,容易导致过拟合;$\gamma$ 值越小,模型的泛化能力越强,但可能会出现欠拟合的情况。 ```python # 创建使用径向基核的SVM分类器 clf_rbf = svm.SVC(kernel='rbf', gamma='scale') clf_rbf.fit(X, y) ``` ### Sigmoid核函数(Sigmoid Kernel) Sigmoid核函数的表达式为 $K(x_i, x_j) = \tanh(\gamma x_i^T x_j + r)$,其中 $\tanh$ 是双曲正切函数,$\gamma$ 是核系数,$r$ 是偏移项。Sigmoid核函数类似于神经网络中的激活函数,它也能处理非线性可分的数据。不过,Sigmoid核函数在某些情况下可能会导致模型收敛困难,需要谨慎选择参数。 ```python # 创建使用Sigmoid核的SVM分类器 clf_sigmoid = svm.SVC(kernel='sigmoid', gamma='scale') clf_sigmoid.fit(X, y) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值