SVM算法相关推导[三]——核函数

最新推荐文章于 2025-06-30 18:30:00 发布

原创

最新推荐文章于 2025-06-30 18:30:00 发布 · 4.3k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #SVM

本文深入探讨SVM中核函数的作用，基本要求以及如何找到合法的核函数。介绍了核矩阵、半正定性与再生核希尔伯特空间的概念，并通过吴恩达的证明阐述核函数的性质。同时，列举了常用的核函数类型及其组合规则。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

由前文

https://blog.youkuaiyun.com/xingzhe2001/article/details/82916907

https://blog.youkuaiyun.com/xingzhe2001/article/details/82927277

核函数的作用

我们知道，SVM算法主要关心的是

$\left \langle x_i,x_j \right \rangle$

有的时候我们会将特征x扩展到非线性，比如加入特征 x^2, x^n等等，我们记这种扩展为

$x\overset{\phi}{\rightarrow}\phi(x)$

这样可以更好地匹配数据。

我们只需要回到原问题，把

$\left \langle x_i,x_j \right \rangle$

替换为

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

xingzhe2001

关注关注

3
点赞
踩
11

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

L1与L2正则化简介

penghui_tan的博客

01-01

670

在简单的线性回归模型中，以平方误差为损失函数，则优化目标为：在样本特征多而样本数量较少的情况下，易陷入过拟合，可通过引入正则化降低过拟合风险，引入L1正则化，则有：正则化参数$\lambda $>0,上式称为LASSO（Least Absolute Shrinkage and Selection Operator）引入L2正则化，则有：正则化参数λ\lambda >0,上式称为“岭回归”(

详解SVM模型——核函数是怎么回事

TechFlow的博客

10-02

1593

大家好，欢迎大家阅读周二机器学习专题，今天的这篇文章依然会讲SVM模型。也许大家可能已经看腻了SVM模型了，觉得我是不是写不出新花样来，翻来覆去地炒冷饭。实际上也的确没什么新花样了，不出意外的话这是本专题最后一篇文章了。下周我们就要开始深度学习之旅了，我相信很多同学期待这一天已经很久了，实际上我也一样，因为这个专题里讲的大部分内容已经只在面试环节会用到，而我已经很久没有面试了。所以让我们收拾一下激动的心情，来把SVM最后剩下的一点内容讲完。虽然只剩下最后一点内容了，但是今天的内容非常重要，可以说是SVM

参与评论您还未登录，请先登录后发表或查看评论

核函数概念及简要性质理解

Explore

03-19

4967

核函数定义《统计学习方法》中给出的核函数的定义为：设X\mathcal{X}X是输入空间（欧式空间Rn\mathbb {R}^nRn的子集或离散集合），H\mathcal{H}H为特征空间（希尔伯特空间），如果存在一个从X\mathcal{X}X到H\mathcal{H}H的映射 ϕ(x):X→H\phi(x): \mathcal{X}\rightarrow\mathcal{H}ϕ(x...

SVM核函数大揭秘：一文读懂线性核、多项式核、RBF核和Sigmoid核（附Python代码）

qiutesting的博客

06-30

2512

在支持向量机(SVM)的世界里，核函数就像哈利波特的魔法棒——轻轻一挥，就能让线性不可分的数据变得服服帖帖！今天我们就来深度解析SVM最常用的四大核函数，用最通俗的语言+最直观的代码，带你玩转核技巧。默认选择RBF核：除非有明确理由用其他核线性核三板斧：高维稀疏数据+大规模数据+快速原型多项式核当备胎：当RBF核参数难调时尝试Sigmoid核慎用：除非你懂它在干什么💡温馨提示：核函数不是越复杂越好，适合数据的才是最好的！建议通过交叉验证实验确定最终方案。

PRML第六章核方法（核函数）读书笔记（上）

simplelove17的专栏

04-04

1580

优快云传一个个小图好麻烦，索性导成大图片的形式，见谅！该篇章主要是将6.1节和6.2节

支持向量机（SVM）3 —— 核函数

weixin_40859436的博客

06-15

2344

转自西瓜书《机器学习》在前面的讨论中，我们假设训练样本是线性可分的，即存在一个划分超平面将训练样本正确分类。然而在现实生活中，原始样本空间内也许并不存在一个能正确划分两类样本的超平面。例如下图中的“异或”问题就不是线性可分的。对这样的问题，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。例如在上图中，若将原始的二维空间映射到一个合适的三维空间，就能找到一个合适的划分...

核函数封闭性的证明

Gideon·K·Marx

04-12

2225

现在就不那么显然的核函数的点乘（核函数的乘积）依然是核函数给出证明：

手写支持向量机(SVM)(一)——介绍与原理推导

weixin_42973210的博客

05-30

2075

在机器学习领域，支持向量机（SVM）是一种强大且广泛使用的算法，它的核心思想是找到一个最优的超平面，使得两类样本在该超平面两侧的间距最大化。这种方法也被称为最大间隔分类器，其目标是找到一个决策边界，使得正负样本之间的间隔最大。SVM的主要优点在于其优秀的泛化能力。它可以有效地处理高维数据，并且在处理非线性问题时，通过引入核函数，SVM也能得到很好的分类效果。此外，SVM算法对于决策边界附近的样本点非常敏感，这使得SVM在处理噪声数据时具有较好的稳定性和鲁棒性。然而，SVM也存在一些缺点。

SVM——（五）线性不可分之核函数

空字符

11-18

5187

本文主要包含以下内容：1.从线性不可分谈起 2.将低维特征映射到高维空间 3.核函数的有效性 4.常用核函数1.从线性不可分谈起我们之前谈到的情况都是线性可分的，也就是说总能找到一个超平面将数据集分开。但现实总是那么不完美，大多情况都是线性不可分的。如下图所示：我们应该怎么才能将其分开呢？有人说用曲线能将其分开；对，曲线确实能将数据集分开，但如果用曲线，那还能叫支持向量机么。那到底又该怎么弄

黏菌算法SMA优化SVM参数实践教程：直接上手惩罚参数c与核函数参数g的简化流程

热门推荐

我不爱机器学习的博客

12-12

15万+

将原始空间中的向量作为输入向量，并返回特征空间（转换后的数据空间,可能是高维）中向量的点积的函数称为核函数。使用内核，不需要显式地将数据嵌入到空间中，因为许多算法只需要图像向量之间的内积（内积是标量）；在特征空间不需要数据的坐标。例1：考虑一个带有特征映射的二维输入空间特征映射二维到三维：特征空间中的内积：根据上面得，核函数为但核函数只是计算映射的内积，所以映射为也是可以得到上面的核函数但是特征空间变为4维了，所以对核函数来说特征空间不唯一。怎么理解高斯核可以扩展为无限维？

机器学习算法——支持向量机SVM5(核函数)

Vicky_xiduoduo的博客

04-22

1496

在前面的文章里（支持向量机1-4）假设的训练样本是线性可分的，即存在一个划分超平面能将训练样本正确分类。然而在现实任务中，原始样本空间内也许并不存在一个能正确划分两类样本的超平面。对于这样的问题，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。一个定理：如果原始空间是有限维，即属性数有限，那么一定存在一个高维度特征空间使样本可分。令表示将x映射后的特征向量，于是，在特征空间中划分超平面所对应的模型可表示为：其中w和b是模型参数，有：其对偶问题是：

超详细白板推导：从模型和优化 2 个角度详解 SVM 核函数

蒋志碧的博客

04-06

685

在 SVM 白板推导| 由最大间隔化目标演化的损失函数推导过程中白板手推了 SVM 的原理，并介绍了硬间隔核函数的实现原理及公式推导，这一节我来详细介绍下 SVM 中的 Keynel Function。一直以来我们只知道核函数能让 SVM 在高维空间中实现非线性可分，那么，核函数是在什么情况下被提出的呢？又有哪几种核函数呢？本篇文章从 2 个角度讲解 SVM 核函数。非线性带来高维转换...

【机器学习】初学理论知识

tiantianzs的博客

08-06

5555

1、什么是机器学习：通过算法使得机器能从大量数据中学习规律从而对新的样本做决策。（相当于构建一个映射函数） 2、常见的机器学习问题：回归（线性拟合）、分类、聚类（多分类） 3、机器学习研究的主要内容：在计算机上从数据中产生 “ 模型 ”的算法，即 “ 学习算法”，我们把经验数据提供给它，它就能基于这些数据产生模型；在面对新的情况时，模型会给我们提供相应的判断 3、典型的机器学习过程：先对训练数据进行类别标记，然后使用学习算法对其进行训练，最后得到模型（决策树、神经网络、支持向量机

机器学习：深入解析SVM的核心概念【三、核函数】

qq_22841387的博客

04-29

1316

在实践中，选择合适的核函数对于构建有效的SVM模型至关重要。它不仅影响模型对数据的理解和分界线的构建，也影响模型的泛化能力。通过使用核函数，SVM可以在复杂的数据集上找到简洁的决策规则，即便在原始特征空间中数据是高度非线性的。问题四：半正定性理解半正定性是高维空间中的一个重要概念，我们可以用一个简化的类比来帮助理解。想象你有一座山，山顶是最高点。如果这座山的形状是凸的（像一个碗），那么无论你在山腰的哪个位置开始，都可以直接走最陡峭的路线到达山顶。在这座“凸山”上，无论你选择哪条路径，你总能达到山顶。

机器学习--支持向量机（六）径向基核函数（RBF）详解

进击的菜鸟

10-21

10万+

前面讲解了什么是核函数，以及有效核函数的要求，到这里基本上就结束了，很多博客也是如此，但是呢这些只是理解支持向量机的原理，如何使用它讲解的却很少，尤其是如何选择核函数更没有人讲，不讲也是有原因的，因为核函数的选择没有统一的定论，这需要使用人根据不同场合或者不同问题选择核函数，选择的标准也没有好的指导方法，一般都是尝试使用，所以选择核函数就需要看使用者的经验了，研究者们也在一直研究这种方法，这方面的...

机器学习：支持向量机

目睹闰土刺猹的瓜的博客

10-27

302

目的：基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开并选择泛化能力最强的划分超平面。 1.间隔与支持向量–在众多超平面中找到鲁棒性最好的那个划分超平面可通过如下线性方程描述： wTx+b=0w^Tx + b = 0wTx+b=0 W与b共同决定了超平面。平面上任意一点到超平面的距离为： γ=∣wTx+b∣∣∣w∣∣\gamma = \frac {|w^Tx + b|}{||...

[DataAnalysis]支持向量机解决线性不可分问题——核函数

TOMACAT的博客

09-07

2万+

在实际碰到的问题中，原始样本空间内也许并不存在一个能正确划分两类样本的超平面。我们可以将原始空间映射到一个更高维的空间，使得样本在这个特征空间内线性可分，从而可以找到合适的超平面。 核函数对SVM目标函数的变化记表示将映射后的特征向量。在高维特征空间中划分超平面所对应的模型可表示为：对应的对偶问题（拉格朗日乘子——消除参数，见https://blog.youkuaiyun.com/TOM...