关于SVM推导中的1/2*||w||^2的来历

最新推荐文章于 2025-05-17 16:12:20 发布

原创最新推荐文章于 2025-05-17 16:12:20 发布 · 5.3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习实战

机器学习专栏收录该内容

16 篇文章

订阅专栏

本文介绍了支持向量机(SVM)理论中如何通过假设支持向量处的函数距离来转换优化目标函数，并解释了为什么将目标函数从求最大值1/||w||转化为求最小值1/2 * ||w||²的过程及目的。

在SVM理论中，通过假设支持向量处的函数距离 $y^*(wx^*+b)=1$ 将目标函数转为求 $max \dfrac{1}{||w||}$ 。
在后续理论中会将上式等效为了 $\dfrac{1}{2}||w||^2$ ，这样做的目的是 利用已有的凸优化理论

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

PIPIXIU

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
5
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

SVM在智能家居领域中的应用与实例

AI天才研究院

07-29

495

SVM在智能家居领域中的应用与实例作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：支持向量机(SVM), 智能家居, 机器学习, 应用实例

SVM在人脸识别领域中的应用与实例

AI天才研究院

06-29

793

1. 背景介绍 1.1 问题的由来人脸识别技术作为一种基于人脸图像的生物特征识别技术，具有广泛的应用前景。然而，人脸图像的复杂性和多样性给人脸识别带来了很大的挑战。传统的人脸识别方法，如基于特征的方法，虽然简单易实现，但是其识别性能受到人脸图像变化的影响较大。因此，如何提高人脸识别的准确性和鲁棒性，成为

5 条评论您还未登录，请先登录后发表或查看评论

最优间隔分类器中为什么最大化1/||w||和最小化1/2*w^2等价

aoc68397的博客

09-24

1851

转自http://www.cnblogs.com/ldphoebe/p/5000769.html 函数间隔的取值并不影响最优化问题的解，因为成比例的改变w和b目标函数和约束条件都不受到影响，所以我们可以让函数间隔为1. 目标函数就变为1/||w||,由于让1/||w||最大化，等价于让分母||w||最小化，为今后求导方便，把1/||w||的最大化等价为的极小化。转载于:https...

SVM推导过程中r=2/||w||怎么理解

CV工程猫

07-23

1450

下图为西瓜书SVM示意图：结合点到直线距离公式可知：（1）r=2/||w|| 是两个超平面之间的距离。（2）SVM是要使最大化间隔max 2/||w||,即min 1/2*||w||,等价于最小化||w||^2

过拟合终极解决方案：从数学公式到PyTorch代码彻底搞懂L1/L2正则化（人工智能丨机器学习丨深度学习丨神经网络丨零基础入门）

最新发布

2501_91798322的博客

05-17

1037

过拟合的根源是模型复杂度与数据量失衡，正则化通过约束参数空间实现「复杂度刹车」L1和L2是互补而非对立的工具：前者适合高维稀疏场景做特征筛选，后者适合连续特征场景做参数平滑正则化调参是数据驱动的过程：需结合特征维度、业务可解释性需求，通过交叉验证找到最优λ代码实现的关键是显式引入约束：sklearn的高层接口提升效率，PyTorch的底层控制满足定制化需求在实际项目中，建议先从L2正则化入手（简单高效），若遇到高维特征或可解释性需求，再切换L1或弹性网。

SVR为什么要最小化w的模,即为什么是min||w||2

qq_30438779的博客

04-08

688

就是说在SVR回归超平面w'x+m=0两侧的w'x+m=ε、w'x+m=-ε所围成的带状区域内，样本是不计算损失的，只计算没有在这个带状区域内的样本的损失。而且由点到线的距离公式d=|g(x)|/||w||，追求“到超平面最远点的样本的距离最小”不应该最大化w吗，也就是max||w||2。但没想到在学习过程中确实出现了让我疑惑的的地方，就是SVR回归的目标为什么是min||w||2而不是max||w||2,经过演算，写一下我自己的理解。最后，不受x约束的||w||是最小化是min|w'x+m|的关键，

线性可分支持向量机(SVM)详细解析 | 统计学习方法学习笔记 | 数据分析 | 机器学习

zxn1996csdn的博客

09-11

1232

本文包括：支持向量机简介线性可分支持向量机模型的形式函数间隔和几何间隔间隔最大化问题（最大间隔法）对偶算法利用KKT求最优w和b 其它有关数据分析，机器学习的文章及社群 1.支持向量机简介：支持向量机是一种二分类模型，与感知机类比，其相同之处在于它也是需要找到一个超平面对数据集进行分割，区别在于，感知机模型得到的超平面空间中可以有无穷个超平面，但支持向量机仅含有一个，这一个超平面与样本点的间隔是最大化的。支持向量机学习方法包含三种模型，其一为线性可分支持向量机，要求训练集线

支持向量机

qq_45256352的博客

01-18

949

一、间隔（margin） 1.支持向量机基本原理对一个二分类问题，在线性可分的情况下，可以找到泛化能力最强的最大间隔超平面（Maximum Marginal Hyperplane，MMH）如图 1. 1将两类样本分开的超平面中B，使得间隔（margin）最大如图 1. 2间隔，距离MMH最近的样本点称为支持向量（Support Vector）。与其他模型相比，SVM算法不太容易发生过拟合问题。在非线性可分的情况下，用非线性映射把输入数据变换到较高维的空间，在新的空间中找到最大间隔超平面对应于原空间中的非

机器学习 | 深入SVM原理及模型推导（一）

TechFlow的博客

08-26

1559

本文始发于个人公众号：TechFlow，原创不易，求个关注今天是机器学习专题的第32篇文章，我们来聊聊SVM。 SVM模型大家可能非常熟悉，可能都知道它是面试的常客，经常被问到。它最早诞生于上世纪六十年代。那时候虽然没有机器学习的概念，也没有这么强的计算能力，但是相关的模型和理论已经提出了不少，SVM就是其中之一。 SVM完全可以说是通过数学推导出来的模型，由于当时还没有计算机，所以模型当中的参数都是数学家们用手来算的。它有一个巨大的应用就是前苏联的计划经济体系，我们知道在计划经济当中，国家有多少社会资

【机器学习】支持向量机SVM原理及推导

热门推荐

Chester-py的专栏

11-02

4万+

SVM的原理和推导

SVM在虚拟现实领域中的应用与实例

AI天才研究院

07-30

575

SVM在虚拟现实领域中的应用与实例作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来虚拟现实（Virtual Reality，

数学：SVM(4)转化对偶问题

ShellDawn的博客

03-01

506

首先，支持向量之间的分类间隔r为： r = 2 / ||W|| 分类不等式为： Y+：WTX + b >= +1 Y-：WTX + b <= -1 SVM问题求解在满足分类不等式的同时使r最大：首先考虑使r最大： max r = max 2 / ||W|| SVM考虑的是问题的极值，即max r的极大处，其余各处取什么值毫不关心，只要保证函数极值处不变，连续且单调即可。所以，可以等...

正则化的理解

qq_33542428的博客

06-01

1539

我们总会在各种地方遇到正则化这个看起来很难理解的名词，其实它并没有那么高冷，是很好理解的首先，从使用正则化解决了一个什么问题的角度来看：正则化是为了防止过拟合，进而增强泛化能力。用白话文转义，泛化误差（generalization error）= 测试误差（test error），其实就是使用训练数据训练的模型在测试集上的表现（或说性能 performance）好不好如上图，红色这条“想象力”过于丰富上下横跳的曲线就是过拟合情形。结合上图和正则化的英文 Regularizaiton-Regul

支持向量机通俗导论（理解SVM的三层境界）

深耕汽车电子：AUTOSAR、电机控制，助力数字定义汽车

11-11

3838

支持向量机通俗导论（理解SVM的三层境界）作者：July 。致谢：pluskid、白石、JerryLead。说明：本文最初写于2012年6月，而后不断反反复复修改&优化，修改次数达上百次，最后修改于2016年11月。声明：本文于2012年便早已附上所有参考链接，并注明是篇“学习笔记”，且写明具体参考...

数学：二范数的平方求导

ShellDawn的博客

03-04

2万+

L = ||W||^2 D(L) / D(W) = 2 * W * D(W) / D(W) = 2 * W 所以： L = 1/2 * ||W||^2 D(L) / D(W) = W

SVM（支持向量机）

https://blog.youkuaiyun.com/sinat_36710456

03-01

1166

SVM是一种用于二分类的分类算法，通过数据集训练得到的分类器，可以用来预测新的样本的类别（正例或负例两种类别）。SVM也可以用于回归。文本仅讲述支持向量分类器(SVC)。根据数据集的不同，SVM可以分为三类：线性可分线性不可分非线性下面，以线性可分的情况为例，讲解SVM的概念和基本公式推导过程。一、什么是SVM 先以一个二维数据集实例为例，介绍...

机器学习算法/模型——支持向量机

Robin_Pi的博客

02-22

4766

支持向量机线性SVM（软间隔的SVM）概念/术语核函数SVM模型支持向量机（简称SVM）是一个功能强大并且全面的机器学习模型，它能够执行线性或非线性分类、回归，甚至是异常值检测任务。支持向量机的主要目标是得到一条能用于分组的最佳分界线。线性SVM（软间隔的SVM）概念/术语超平面支持向量在寻找最佳分界线的过程中起了支持作用的数据点。硬间隔、软间隔硬间隔：正负样本之间的...

SVM支持向量机详解（二）

yonsan_的博客

06-21

450

目标函数和约束条件，可以用下面的式子表示：公式中一共有p+q个约束条件，其中p个是不等式约束，q个等式约束。关于这个式子可以这样来理解：式中的x是自变量，但不限定它的维数必须为1（视乎你解决的问题空间维数，对我们的文本分类来说，那可是成千上万啊）。要求f(x)在哪一点上取得最小值（反倒不太关心这个最小值到底是多少，关键是哪一点），但不是在整个空间里找，而是在约束条件所划定的一个有限的空间里找，这个有限的空间就是优化理论里所说的可行域。注意可行域中的每一个点都要求满足所有p+q个条件，而不是满足其中一条或几条

SVM模型（硬间隔）

weixin_40530363的博客

03-03

845

支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。 1、线性可分支持向量机学习算法------最大间隔法函数间隔y‘的取值对上面的不等式约束没有影响，对目标函数的优化也无影响。至于等价问题为什么要是平方乘以1/2的系数是因为要将问题转化为凸2次优化问题，便于求解。如此，就将问题转为成了一个凸2次优化问题。最终求解可以得到w、b，以及超平面。在决定分离...

^(\//\ | \*\| \+\)

09-22

引用提供了一个文法，其中包含了一些产生式规则。这些规则描述了一个简单的算术表达式语言，包括加法、乘法和指数运算。其中，E表示表达式，T表示项，F表示因子，P表示括号，i表示数字。这个文法可以用来解析和处理算术表达式。引用提供了一段JavaScript代码，用于创建和测试正则表达式。其中，\d表示匹配任意一个数字字符，$表示匹配字符串的结尾。根据代码的测试结果，可以看出使用不同的正则表达式来匹配数字字符会得到不同的结果。引用提到了SVM（支持向量机）理论中的一个目标函数。通过假设支持向量处的函数距离为1，将目标函数转化为求一个最大值问题。后续的理论将目标函数等效为一个范数的平方，这样做的目的是为了利用已有的凸优化理论。关于你提出的问题 ^(\//\ | \*\| \ \) ，这看起来像一个正则表达式。它的含义是匹配以//或*| \开头的字符串。需要注意的是，正则表达式中的特殊字符需要进行转义，因此斜杠/需要用两个斜杠//表示。