函数间隔（functional margin）和几何间隔（geometric margin）

最新推荐文章于 2024-01-03 17:16:03 发布
原创 最新推荐文章于 2024-01-03 17:16:03 发布 · 8.7k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#SVM #函数间隔 #几何间隔

本文介绍了函数间隔和几何间隔的概念及其在支持向量机中的应用。解释了两者的区别和联系，指出当向量w的模长为1时，两者相等；当超平面参数成比例变化时，函数间隔随之变化而几何间隔保持不变。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

对于给定的训练数据集T和超平面(w,b)，定义超平面关于样本点(x_i,y_i)的函数间隔为


定义超平面(w,b)关于训练数据集T的函数间隔为超平面关于T中所有样本点的函数间隔之最小值，即


       函数间隔可以表示分类预测的正确性及确信度，但选择分离超平面时，只有函数间隔还不够，因为只要成比例改变w和b，超平面并没有改变，但函数间隔却变了，因此需要对分离超平面的法向量加上某些约束，如规范化，||w||=1，使用间隔是确定的，这时函数间隔成为了几何间隔。

几何间隔

对于给定的训练数据集T和超平面(w,b)，定义超平面关于样本点(x_i,y_i)的几何间隔为


其中，||w||为w的L_2范数。定义超平面(w,b)关于训练数据集T的几何间隔为超平面关于中所有样本点的几何间隔之最小值，即


       由函数间隔和几何间隔的定义可知，它们之前的关系如下：


如果||w||=1，那么函数间隔和几何间隔相等。如果超平面参数w和b成比例地改变，函数间隔也按此比例改变，而几何间隔不变。
人工智能之数学基础:函数间隔和几何间隔
huanfeng_AI的博客
01-12 156
在机器学习领域，尤其是支持向量机（SVM）算法中，函数间隔（Functional Margin）和几何间隔（Geometric Margin）是两个至关重要的概念。它们不仅用于描述数据点到超平面的距离，还直接影响到分类器的性能与泛化能力。本文将详细介绍这两个概念，并探讨它们之间的区别与联系。
【SVM精讲01】SVM基础——从线性可分到最大间隔分类器
最新发布
熵数实验室
04-08 1176
线性可分数据集下寻找最优分类超平面的问题。函数间隔和几何间隔的概念，以及为何选择最大化几何间隔。将最大间隔问题转化为一个带约束的凸二次优化问题。初步了解了拉格朗日对偶性和支持向量（决定超平面的关键点）的概念。通过实现了一个简单的线性SVM可视化。然而，现实世界的数据往往不是完美线性可分的，可能存在噪声、异常点，或者本身就需要非线性的边界。如何处理这些更复杂的情况？这就是我们下一篇将要讨论的软间隔SVM和核技巧。
机器学习中的函数间隔和几何间隔
二胖_pro
05-05 2679
目录一、函数间隔二、几何间隔三、函数间隔和几何间隔的关系 一、函数间隔 函数间隔 一般来说， 一个点距离分离超平面的远近可以表示分类预测的确信程度。在超平面w⋅x+b=0w\cdot x+b=0w⋅x+b=0 确定的情况下，∣w⋅x+b∣|w\cdot x+b|∣w⋅x+b∣能够相对地表示点距离超平面的远近。w⋅x+bw\cdot x+bw⋅x+b 的符号与类标记 yyy 的符号是否一致能够表示...
函数间隔和几何间隔
顺其自然~专栏
01-03 819
上一节我们讲到，我们要像线性分类器一样找到一个超平面，不仅能够对数据点进行一个准确的分隔，同时我们希望所有的点尽量都能够远离我们的超平面，即所有点的f(x)值都是很大的正数或者是很小的负数。但这里就会有一个疑问了，为什么f(x)值能够代表数据点远离超平面的程度呢？接下来，我们将讨论点到超平面的距离问题。
理解函数间隔与几何间隔
lecturekeke的专栏
01-28 475
如上图所示，输入\(x\)为\(x^{(1)}\)和\(x^{(2)}\)二维空间上的点。输入与输出共同构成三维空间的函数的曲面（在这里为一个与y轴相交于b点的倾斜平面），例如\(x_2\)在这个平面上对应的点可记作\(x{_2}\)'(\(x{^{(1)}_2},x{^{(2)}_2},y_2\))。 以\(x_2\)为例，\(\hat{\gamma}_2\)为函数间隔，\(\gamma_2\)为几何间隔。\(\gamma_2\)不变，\(\hat{\gamma}_2\)则会随\(\omega\)的
支持向量机(SVM)对偶问题解析-以最大几何间隔为目标
因此，引入了几何间隔（Geometric Margin），它是考虑了w的范数后的距离，即||w|| * (y * (w·x) + b)。几何间隔是样本点到超平面的实际距离，不受w的缩放影响。 SVM的目标是找到一个超平面，使得所有正负样本点到...
SVM分类器详解：最大间隔与SMO算法
在SVM中，间隔有两种类型：函数间隔（functional margin）和几何间隔（geometric margin）。函数间隔是指数据点到超平面的线性距离，考虑了分类器的权重向量w和常数项b。对于一个点x，其函数间隔γ_f为： γ_f = y ...
《机器学习中的数学》—— 函数间隔与几何间隔
Lin's Blog
05-13 1165
目录1.函数间隔2.几何间隔3.两者的关系 1.函数间隔 在超平面w∗x+b=0w^*x+b=0w∗x+b=0确定的情况下，∣w∗x+b=0∣|w^*x+b=0|∣w∗x+b=0∣能够表示点x到距离超平面的远近，而通过观察w∗x+b=0w^*x+b=0w∗x+b=0的符号与类标记yyy的符号是否一致可判断分类是否正确，所以，可以用w∗x+b=0w^*x+b=0w∗x+b=0)的正负性来判定或表示分类的正确性。于此，我们便引出了函数间隔（functional margin）的概念。 定义函数间隔（用γ^\wi
函数间隔几何间隔
guihaitianyan的博客
03-27 884
函数间隔几何间隔 1.支持向量机和logistic函数的有什么区别 实践发现，在所给的例子中，两种方法线性划分两类事物时得到的线性分类器的效果差不多。那具体的差别在哪呢？ SVM更关心的是靠近中间分割线的点，让他们尽可能地远离中间线，而不是在所有点上达到最优，因为那样的话，要使得一部分点靠近中间线来换取另外一部分点更加远离中间线。因此支持向量机和和逻辑斯蒂回归的不同点，一个是考虑局部（不关心已经确定远离的点，更考虑靠近中间分割线的点），一个是考虑全局（已经远离的点可能通过调整中间线使其能够更加远离） 2.
【机器学习】SVM中对函数间隔和几何间隔的理解
Elford的博客
11-23 2109
超平面表达式： 函数间隔 ： 对于在超平面上的点， wx+b=0wx+b=0wx+b=0 恒成立。而超平面之外的点，可以认为距离越远，wx+bwx+bwx+b 的绝对值越大，同时分类成功的概率也越高，表达式为： 几何间隔 ： 顾名思义，几何间隔就是两条平行线之间的距离，表达式为： 考虑SVM的目标，是要使所有样本点中几何间隔的最小值尽可能大： 即最优化问题为： 将约束条件的左右两边同时乘以 ∣∣w∣∣||w||∣∣w∣∣，可以得到表达式： yi(w⋅xi+b)≥γ⋅∣∣w∣∣y_i(w·x_i+b
机器学习6 函数间隔与几何间隔
skmygdrs的专栏
08-02 483
functionalmarginfunctional{\kern 1pt} {\kern 1pt} m\arg in γ(i)=y(i)(wTx(i)+b){\gamma ^{\left( i \right)}} = {y^{\left( i \right)}}\left( {{w^T}{x^{\left( i \right)}} + b} \right) geometricmargingeom
1.1 函数间隔和几何间隔理解1
jianfpeng241241的专栏
03-04 4771
转载地址：https://www.jianshu.com/p/2e3c0c583e85 1、函数间隔 我们的函数间隔定义为： 可以看到，函数间隔其实就是类别标签乘上了f(x)的值，可以看到，该值永远是大于等于0的，正好符合了距离的概念，距离总不能是负的吧。那么为什么该值可以表示数据点到超平面的距离呢？我们不妨这样想，假设y=1,f(x)=1,其实就是将原来的分类超平面f(x) 向右平移...
支持向量机（一）——深入理解函数间隔与几何间隔
热门推荐
我爱学习的博客
07-09 1万+
1.支持向量机和logistic函数的有什么区别 实践发现，在所给的例子中，两种方法线性划分两类事物时得到的线性分类器的效果差不多。那具体的差别在哪呢？ ···SVM更关心的是靠近中间分割线的点，让他们尽可能地原理中间线，而不是在所有点上达到最优，因为那样的话，要使得一部分点靠近中间线来换取另外一部分点更加原理中间线。因此支持向量机和和逻辑斯蒂回归的不同点，一个是考虑局部（不关心已经确定远离的...
函数间隔与几何间隔、最优间隔分类器、原始问题与对偶问题、最优间隔分类器问题的求解-机器学习公开课第七讲
h__ang的博客
11-28 536
SVM几何间隔
03-26
### 支持向量机中的几何间隔概念 在支持向量机（SVM）中，几何间隔是指某个样本点到分类超平面的实际距离。这一定义基于欧几里得空间的距离度量方式，并考虑了数据点的规范化表示。 对于给定的数据点 \( \mathbf{x}_i \)，其对应的类别标签为 \( y_i \in \{-1, +1\} \)，假设当前的超平面由参数 \( (\mathbf{w}, b) \) 表示，则该点到超平面的几何间隔可以写成如下形式： \[ d(\mathbf{x}_i) = \frac{|y_i (\mathbf{w}^\top \mathbf{x}_i + b)|}{||\mathbf{w}||}. \] 其中： - \( ||\mathbf{w}|| \) 是权重向量 \( \mathbf{w} \) 的 L2 范数； - \( \mathbf{w}^\top \mathbf{x}_i + b \) 是决策函数的部分表达式[^1]。 由于 SVM 中的目标是最优化分离效果，因此通常会引入 **最大间隔原则** 来寻找最优解。在此过程中，几何间隔被进一步标准化处理，使得目标变为最大化最小化后的间隔值。 #### 计算方法解释 为了便于理解如何计算几何间隔，在实际操作中有以下几个要点需要注意： 1. 对于任意一个训练样例而言，如果它正好位于边界上（即成为支持向量），那么它的几何间隔应满足特定条件——等于单位长度除以权值矢量模长的结果。 即当某一点恰好落在正负两类区域之间的中间位置时， \[ d_{support-vector} = \frac{1}{||\mathbf{w}||}. \] 2. 如果某些噪声或者错误标注的存在破坏了原本严格的线性可分性质，则可以通过引入松弛变量来调整模型设定从而允许一定程度上的误分类现象发生 [^2] 。此时所涉及的是所谓的“软间隔”。 通过上述分析可以看出，无论是硬间隔还是软间隔情况下的求解过程都离不开对几何间隔的理解及其相应公式的应用。 ```python import numpy as np def geometric_margin(w, b, X, y): """ Calculate the geometric margin of a set of points with respect to a hyperplane. Parameters: w (numpy array): Weight vector defining the orientation of the hyperplane. b (float): Bias term determining position along normal direction. X (numpy matrix): Data samples where each row represents one sample point. y (numpy array): Labels associated with data (+1 or -1). Returns: float: The minimal geometric margin across all provided points. """ margins = [] norm_w = np.linalg.norm(w) for i in range(len(X)): distance = abs(y[i]*(np.dot(w.T, X[i]) + b)) / norm_w margins.append(distance) return min(margins), max(margins) # Example usage if __name__ == "__main__": # Define parameters and dataset example W_example = np.array([3,-4]) B_example = 7 Points = np.array([[1,0], [-1,2]]) Y_labels = np.array([1, -1]) result_min, result_max = geometric_margin(W_example, B_example, Points, Y_labels) print(f"Minimal Geometric Margin is {result_min}") print(f"Maximal Geometric Margin is {result_max}") ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值