数学：SVM(6)对偶问题极值点带入

最新推荐文章于 2024-04-29 19:49:11 发布

ShellDawn

最新推荐文章于 2024-04-29 19:49:11 发布

阅读量222

点赞数

CC 4.0 BY-SA版权

文章标签： SVM 对偶问题

本文链接：https://blog.youkuaiyun.com/ShellDawn/article/details/88172216

本文详细解析了对偶问题的数学表达式及其求解过程。通过将原始问题转化为对偶问题，利用拉格朗日乘子法，推导出了极值点条件下的W和b的表达式，并进一步简化了目标函数L(W,b,a)。最终得到的对偶问题形式为：L(W,b,a)=Sum{ai}

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

已知对偶问题表达式：
L(W,b,a) = 1/2 * ||W||^2 + Sum{ai * (1 - yi(WT * Xi + b)) }
极值点处：
W = Sum{ ai * yi * Xi }
0 = Sum{ai * yi}

带入表达式：

L(W,b,a) = 1/2 * ||W||^2 + Sum{ai * (1 - yi(WT * Xi + b)) }

L(W,b,a) = 1/2 * || Sum{ ai * yi * Xi } ||^2 + Sum{ ai } - Sum{ ai * yi * WT * Xi } - Sum{ ai * yi * b }

L(W,b,a) = 1/2 * || Sum{ ai * yi * Xi } ||^2 + Sum{ ai } - Sum{ ai * yi * WTXi }

L(W,b,a) = 1/2 * || Sum{ ai * yi * Xi } ||^2 + Sum{ ai } - Sum{ ai * yi * (Sum{aj * yj * Xj})T * Xi }

L(W,b,a) = 1/2 * || Sum{ ai * yi * Xi } ||^2 + Sum{ ai } - Sum{ Sum{ ai * yi * aj * yj * XiT * Xj } }

其中：
1/2 * || Sum{ ai * yi * Xi } ||^2 = 1/2 * Sum{ Sum{ ai * yi * aj * yj * XiT * Xj } }
(由二范数展开可以轻易看出)

所以：
L(W,b,a) = Sum{ ai } - 1/2 * Sum{ Sum{ ai * yi * aj * yj * XiT * Xj } }

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ShellDawn

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

SVM对偶问题

Sodas的博客

02-18

1214

𝛤(𝜇，𝜆)为拉格朗日函数𝐿(𝑤,𝑏,𝛼)关于 𝑥 的下确界。⑤𝑠𝑢𝑝{𝑥∈ℝ| 0＜𝑥＜10}=10：集合 {𝑥∈ℝ| 0＜𝑥＜10} 的上确界是 10，因为 10 是大于集合中所有元素的最小值，但 10 不在集合中。②𝑖𝑛𝑓{𝑥∈ℝ| 0＜ 𝑥＜10}=0：集合 {𝑥∈ℝ|0＜𝑥＜10} 的下确界是 0，因为 0 是小于集合中所有元素的最大值，但 0 不在集合中。PS2-4：这里的"∇𝑥"就是对变量x的梯度，其实就是对x求导，其中不等式的约束的乘子必须是大于

第20课：SVM——对偶学习算法

YeJuliaLi的博客

09-22

437

对偶问题上一篇我们用 x 和 y 各代表一个维度，用 $z = f(x,y)$ 和 $g(x,y) = 0$ 分别代表一个二元函数和一个一元函数。这样做是为了和图形对比的时候能看得清楚，为了可视化方便。一般情况下，我们就用 $x$ 代表一个函数的自变量。这个 $x$ 本身可以是多维的。而且，同一个函数可能同时既有等式约束条件，又有不等式约束条件。主问题现在我们考虑在 $d$ 维空间上有 ...

参与评论您还未登录，请先登录后发表或查看评论

数学：SVM(5)对偶问题极值点

ShellDawn的博客

03-04

273

对偶问题： L(W,b,a) = 1/2 * ||W||^2 + Sum{ ai * (1 - yi * (WTXi + b) ) } 有表达式，凸二次存在极值点 极值点处，偏导为0： D(L) / D(W) = D( 1/2 * ||W||^2 ) / D(W) + D( Sum{ ai * (1 - yi * (WTXi + b) ) } ) / D(W) D( 1/2 * ||W||^2 ...

error C2275 将此类型用作表达式非法

~。~|||

03-24

4万+

C2275: “size_t”: 将此类型用作表达式非法，同时还导致一堆变量未定义的bug。将LuaXml从lua5.1移植到5.2的时候，使用VS2010编译LuaXml_lib.dll的时候碰到了这个错误，然而使用GCC能编译成功。群上一人遇到问题：在正确的程序中增加KdPrint()调用以输出调试信息，如下： ////////////////////////

机器学习算法与Python实践之（四）支持向量机（SVM）实现

modabobo

12-13

3136

机器学习算法与Python实践之（四）支持向量机（SVM）实现 zouxy09@qq.com http://blog.youkuaiyun.com/zouxy09 机器学习算法与Python实践这个系列主要是参考《机器学习实战》这本书。因为自己想学习Python，然后也想对一些机器学习算法加深下了解，所以就想通过Python来实现几个比较常用的机器学习算法。恰好遇见这本同样定位的书籍，所以就参考这本书...

SVM学习总结

MyArrow的专栏

04-27

2万+

1. 目标 SVM是一个二类分类器，它的目标是找到一个超平面，使用两类数据离超平面越远越好，从而对新的数据分类更准确，即此分类器更加健壮。支持向量（Support Vetor）：就是离分隔超平面最近的哪些点。寻找最大间隔：就是寻找最大化支持向量到分隔超平面的距离，在此条件下求出分隔超平面。数据分类类别： 1）线性可分 2

机器学习入门（十五）：SVM——对偶学习算法

米饭超人的专栏

03-12

1867

对偶问题上一篇我们用 x 和 y 各代表一个维度，用 z=f(x,y) 和 g(x,y)=0 分别代表一个二元函数和一个一元函数。这样做是为了和图形对比的时候能看得清楚，为了可视化方便。一般情况下，我们就用 x 代表一个函数的自变量。这个 x 本身可以是多维的。而且，同一个函数可能同时既有等式约束条件，又有不等式约束条件。主问题现在...

机器学习：深入解析SVM的核心概念【二、对偶问题】

最新发布

qq_22841387的博客

04-29

1881

这个优化问题是凸二次规划问题，因为它具备了凸规划问题所需的两个主要特性：一个凸的和凸的。目标函数 12∣∣ω∣∣2\frac{1}{2} ||\omega||^221∣∣ω∣∣2 是凸的：因为这个函数的二阶导数相对于 ω\omegaω 为正值，这保证了该函数是凸的，也就是说，它在任意方向上都是。约束条件是凸的：对于 SVM 的约束 yi(ωTxi+b)≥1y_i(\omega^T x_i + b) \geq 1yi(ωTxi+b)≥1，它们定义了一个。为了形成凸优化问题，约束条件本身也必须形成一个凸集

SVM(support vector machine)算法详解中之转化对偶问题

wd18508423052的博客

07-19

683

本文总结一下SVM(support vector machine)算法。学习SVM算法主要有三个难点：如何推导出基本的优化目标。(其中包括理解函数距离与几何距离) 对于基本优化目标的公式如何转化为对偶问题。转化为对偶问题后对拉格朗日因子的求解，也就是SMO算法。因此，本文分为三个部分来讲述SVM算法。 SVM【上】之形成优化目标 SVM【中】之转化对偶问题 SVM【下】之SMO算法求...

机器学习算法与Python实践之（三）支持向量机（SVM）进阶

modabobo

12-12

626

机器学习算法与Python实践之（三）支持向量机（SVM）进阶 zouxy09@qq.com http://blog.youkuaiyun.com/zouxy09 机器学习算法与Python实践这个系列主要是参考《机器学习实战》这本书。因为自己想学习Python，然后也想对一些机器学习算法加深下了解，所以就想通过Python来实现几个比较常用的机器学习算法。恰好遇见这本同样定位的书籍，所以就参考这本书...

学习SVM（三）理解SVM中的对偶问题

weixin_33894640的博客

09-11

267

2019独角兽企业重金招聘Python工程师标准>>> ...

error C2275错误

Spring1531

11-21

1928

将C代码在VC++中编译，经常会出现error C2275错误，结果是变量的定义位置不对，应该在函数块的最前面。这是一个编程习惯的问题。在移植c++代码到c的时候，经常会出现一个奇怪的错误：“error C2275: “xxxxx”: 将此类型用作表达式非法” 这个错误是由于c的编译器要求将变量的申明放在一个函数块的头部，而c++没有这样的要求造成的。解决的办法就是把变量的声

严重性代码说明项目文件行禁止显示状态错误 CS0103 当前上下文中不存在名称“dgv”

热门推荐

qq_39681220的博客

04-15

7万+

DataGridView连接Sql数据库一直搞不明白这是什么问题，求大神解答下using System;using System.Collections.Generic;using System.ComponentModel;using System.Data;using System.Drawing;using System.Linq;using System.Text;usin...

二分类支持向量机(SVM)的Python实现

MrTriste的博客

04-25

9632

SVM Here I just realize a simple SVM which only supports binary classification, named C-SVC. 代码在Github Formulation Linear max γs.t.yi(wxi+b)|w|≥γmax γs.t.yi(wxi+b)|w|≥γ max\ \...

SVM算法理论推导及python实现

落尘

08-12

1354

SVM中SMO算法详细推导及其python实现一, 推导至SMO要解决的SVM对偶形式本文假设读者对SVM的前置知识有基础的了解对于含soft margin的支持向量机, 其primitive problem: minw,b,ξ12∥w∥2+C∑i=1Nξis.t.yi(w⋅xi+b)≥1−ξi,i=1,2,⋯,Nξi≥0,i=1,2,⋯,N(1)(2)(3)(1)minw,b,ξ1...

拉格朗日乘数法解等式条件极值问题（用于SVM求解超平面）

weixin_39671140的博客

09-08

3937

　　　解决方法是消元法或者拉格朗日法。消元法比较简单不在赘述，这里主要讲拉格朗日法，因为后面提到的KKT条件是对拉格朗日乘子法的一种泛化。　　　例如给定椭球: 　　　　　　　　　　　　求这个椭球的内接长方体的最大体积。这个问题实际上就是条件极值问题，即在条件下，求的最大值。　　当然这个问题实际可以先根据条件消去 z (消元法)，然后带入转化为无条件极值问...

支持向量机之SMO

muye5的专栏

09-18

2981

[原文] 机器学习算法与Python实践之（二）支持向量机（SVM）初级 zouxy09@qq.com http://blog.youkuaiyun.com/zouxy09 机器学习算法与Python实践这个系列主要是参考《机器学习实战》这本书。因为自己想学习Python，然后也想对一些机器学习算法加深下了解，所以就想通过Python来实现几个比较常用的机器学习