数学：SVM(6)对偶问题极值点带入

最新推荐文章于 2020-09-22 12:23:57 发布
原创 最新推荐文章于 2020-09-22 12:23:57 发布 · 233 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#SVM #对偶问题

本文详细解析了对偶问题的数学表达式及其求解过程。通过将原始问题转化为对偶问题，利用拉格朗日乘子法，推导出了极值点条件下的W和b的表达式，并进一步简化了目标函数L(W,b,a)。最终得到的对偶问题形式为：L(W,b,a)=Sum{ai}

已知对偶问题表达式：
L(W,b,a) = 1/2 * ||W||^2 + Sum{ai * (1 - yi(WT * Xi + b)) }
极值点处：
W = Sum{ ai * yi * Xi }
0 = Sum{ai * yi}

带入表达式：

L(W,b,a) = 1/2 * ||W||^2 + Sum{ai * (1 - yi(WT * Xi + b)) }

L(W,b,a) = 1/2 * || Sum{ ai * yi * Xi } ||^2 + Sum{ ai } - Sum{ ai * yi * WT * Xi } - Sum{ ai * yi * b }

L(W,b,a) = 1/2 * || Sum{ ai * yi * Xi } ||^2 + Sum{ ai } - Sum{ ai * yi * WTXi }

L(W,b,a) = 1/2 * || Sum{ ai * yi * Xi } ||^2 + Sum{ ai } - Sum{ ai * yi * WTXi }

L(W,b,a) = 1/2 * || Sum{ ai * yi * Xi } ||^2 + Sum{ ai } - Sum{ ai * yi * (Sum{aj * yj * Xj})T * Xi }

L(W,b,a) = 1/2 * || Sum{ ai * yi * Xi } ||^2 + Sum{ ai } - Sum{ Sum{ ai * yi * aj * yj * XiT * Xj } }

其中：
1/2 * || Sum{ ai * yi * Xi } ||^2 = 1/2 * Sum{ Sum{ ai * yi * aj * yj * XiT * Xj } }
(由二范数展开可以轻易看出)

所以：
L(W,b,a) = Sum{ ai } - 1/2 * Sum{ Sum{ ai * yi * aj * yj * XiT * Xj } }

ShellDawn
关注
【Debug系列】error C2275:将此类型用作表达式非法
优快云明星博主，认证博客专家，视频、Matlab领域优质创作者。
03-24 4384
Date: 2018.3.24 问题及原因： 这个错误主要是C和C++之间的编程规范有所区别造成的。 在移植c++代码到c的时候，经常会出现一个奇怪的错误， error C2275: “XXX”: 将此类型用作表达式非法， 这个错误是由于c的编译器要求将变量的声明放在所有函数调用语句之前，而c++没有这样的要求造成的。 解决的办法就是把变量的声明全部放在变量的生存块的开始。 C2275: “size_t”: 将此类型用作表达式非法，同时还导致一堆变量未定义...
SVM对偶问题
最新发布
Sodas的博客
02-18 1396
𝛤(𝜇，𝜆)为拉格朗日函数𝐿(𝑤,𝑏,𝛼)关于 𝑥 的下确界。⑤𝑠𝑢𝑝{𝑥∈ℝ| 0＜𝑥＜10}=10：集合 {𝑥∈ℝ| 0＜𝑥＜10} 的上确界是 10，因为 10 是大于集合中所有元素的最小值，但 10 不在集合中。②𝑖𝑛𝑓{𝑥∈ℝ| 0＜ 𝑥＜10}=0：集合 {𝑥∈ℝ|0＜𝑥＜10} 的下确界是 0，因为 0 是小于集合中所有元素的最大值，但 0 不在集合中。PS2-4：这里的"∇𝑥"就是对变量x的梯度，其实就是对x求导，其中不等式的约束的乘子必须是大于
数学：SVM(5)对偶问题极值点
ShellDawn的博客
03-04 286
对偶问题： L(W,b,a) = 1/2 * ||W||^2 + Sum{ ai * (1 - yi * (WTXi + b) ) } 有表达式，凸二次存在极值点 极值点处，偏导为0： D(L) / D(W) = D( 1/2 * ||W||^2 ) / D(W) + D( Sum{ ai * (1 - yi * (WTXi + b) ) } ) / D(W) D( 1/2 * ||W||^2 ...
机器学习算法与Python实践之（四）支持向量机（SVM）实现
modabobo
12-13 3171
机器学习算法与Python实践之（四）支持向量机（SVM）实现 zouxy09@qq.com http://blog.youkuaiyun.com/zouxy09 机器学习算法与Python实践这个系列主要是参考《机器学习实战》这本书。因为自己想学习Python，然后也想对一些机器学习算法加深下了解，所以就想通过Python来实现几个比较常用的机器学习算法。恰好遇见这本同样定位的书籍，所以就参考这本书...
机器学习算法与Python实践之（二）支持向量机（SVM）初级
modabobo
12-12 677
机器学习算法与Python实践之（二）支持向量机（SVM）初级 zouxy09@qq.com http://blog.youkuaiyun.com/zouxy09 机器学习算法与Python实践这个系列主要是参考《机器学习实战》这本书。因为自己想学习Python，然后也想对一些机器学习算法加深下了解，所以就想通过Python来实现几个比较常用的机器学习算法。恰好遇见这本同样定位的书籍，所以就参考这本书...
error C2275 将此类型用作表达式非法
~。~|||
03-24 4万+
C2275: “size_t”: 将此类型用作表达式非法，同时还导致一堆变量未定义的bug。 将LuaXml从lua5.1移植到5.2的时候，使用VS2010编译LuaXml_lib.dll的时候碰到了这个错误，然而使用GCC能编译成功。 群上一人遇到问题：在正确的程序中增加KdPrint()调用以输出调试信息，如下： ////////////////////////
机器学习入门（十五）：SVM——对偶学习算法
米饭超人的专栏
03-12 1919
对偶问题 上一篇我们用 x 和 y 各代表一个维度，用 z=f(x,y) 和 g(x,y)=0 分别代表一个二元函数和一个一元函数。这样做是为了和图形对比的时候能看得清楚，为了可视化方便。 一般情况下，我们就用 x 代表一个函数的自变量。这个 x 本身可以是多维的。 而且，同一个函数可能同时既有等式约束条件，又有不等式约束条件。 主问题 现在...
第20课：SVM——对偶学习算法
YeJuliaLi的博客
09-22 462
对偶问题 上一篇我们用 x 和 y 各代表一个维度，用 $z = f(x,y)$ 和 $g(x,y) = 0$ 分别代表一个二元函数和一个一元函数。这样做是为了和图形对比的时候能看得清楚，为了可视化方便。 一般情况下，我们就用 $x$ 代表一个函数的自变量。这个 $x$ 本身可以是多维的。 而且，同一个函数可能同时既有等式约束条件，又有不等式约束条件。 主问题 现在我们考虑在 $d$ 维空间上有 ...
SVM(support vector machine)算法详解中之转化对偶问题
wd18508423052的博客
07-19 706
本文总结一下SVM(support vector machine)算法。 学习SVM算法主要有三个难点： 如何推导出基本的优化目标。(其中包括理解函数距离与几何距离) 对于基本优化目标的公式如何转化为对偶问题。 转化为对偶问题后对拉格朗日因子的求解，也就是SMO算法。 因此，本文分为三个部分来讲述SVM算法。 SVM【上】之形成优化目标 SVM【中】之转化对偶问题 SVM【下】之SMO算法求...
这次一定要弄懂-SVM-3-Hard Margin SVM的对偶问题的求解（SMO算法）
weixin_44264662的博客
07-29 1310
文章目录3-1 KKT条件3-1-1 从拉格朗日乘数法的求解过程说起3-1-2 推广出KKT条件3-1-3 KKT条件用于原问题3-2 SMO算法3-3 总结并用python实现Hard Margin SVM 前面我们针对Hard Margin SVM推导了他的原问题： min⁡ω∣∣ω∣∣22\min \limits_{\bold{\omega}}\frac{||\omega||^2}{2}ωm...
优化问题中的对偶性理论
tongle.wang Homepage
06-09 9820
优化问题中的对偶性理论 Standard 本文讲的是优化问题中与对偶问题、对偶性理论相关的内容，包括对偶问题的最优解、弱对偶性、强对偶性、共轭函数、以及KKT条件等。 点此展开本文目录 一、对偶函数 拉格朗日量（Lagrangian）对偶函数 1、对偶函数的凸性2、拉格朗日乘子法3、形象解释 最优值的下界估计 1、
约束极值问题之拉格朗日乘子法、KKT条件与对偶理论
十里清风
11-06 5931
等式约束极值、拉格朗日乘子法、不等式约束极值、KT条件
SVM学习总结
MyArrow的专栏
04-27 2万+
1. 目标      SVM是一个二类分类器，它的目标是找到一个超平面，使用两类数据离超平面越远越好，从而对新的数据分类更准确，即此分类器更加健壮。      支持向量（Support Vetor）：就是离分隔超平面最近的哪些点。      寻找最大间隔：就是寻找最大化支持向量到分隔超平面的距离，在此条件下求出分隔超平面。      数据分类类别：      1）线性可分      2
严重性代码说明项目文件行 禁止显示状态错误 C4996 fopen（'fscanf'、strcmp）：This function or variable may be unsafe. 最全解决办法
热门推荐
qinrenzhi的博客
01-22 9万+
解决fopen、fscanf 在VS中要求替换为fopen_s、fscanf_s的最全解决办法                                                              -------------- ps：在使用MFC中遇到上述问题，可以通过方法三解决方法一：在程序最前面加#define _CRT_SECURE_NO_DEPRECATE； 方法二：...
SVM算法理论推导及python实现
落尘
08-12 1419
SVM中SMO算法详细推导及其python实现 一, 推导至SMO要解决的SVM对偶形式 本文假设读者对SVM的前置知识有基础的了解 对于含soft margin的支持向量机, 其primitive problem: minw,b,ξ12∥w∥2+C∑i=1Nξis.t.yi(w⋅xi+b)≥1−ξi,i=1,2,⋯,Nξi≥0,i=1,2,⋯,N(1)(2)(3)(1)minw,b,ξ1...
error C2275错误
Spring1531
11-21 1967
将C代码在VC++中编译，经常会出现error C2275错误，结果是变量的定义位置不对，应该在函数块的最前面。这是一个编程习惯的问题。 在移植c++代码到c的时候，经常会出现一个奇怪的错误：“error C2275: “xxxxx”: 将此类型用作表达式非法” 这个错误是由于c的编译器要求将变量的申明放在一个函数块的头部，而c++没有这样的要求造成的。 解决的办法就是把变量的声
机器学习算法与Python实践之（三）支持向量机（SVM）进阶
modabobo
12-12 646
机器学习算法与Python实践之（三）支持向量机（SVM）进阶 zouxy09@qq.com http://blog.youkuaiyun.com/zouxy09 机器学习算法与Python实践这个系列主要是参考《机器学习实战》这本书。因为自己想学习Python，然后也想对一些机器学习算法加深下了解，所以就想通过Python来实现几个比较常用的机器学习算法。恰好遇见这本同样定位的书籍，所以就参考这本书...
凸优化详解：理解SVM对偶问题的核心
掌握其中的知识点，尤其是拉格朗日对偶性、KKT条件、强对偶性成立条件及对偶问题的转化技巧，对于深入理解现代机器学习模型的数学本质具有不可替代的作用。无论是从事理论研究还是工程实践，精通凸优化都是通往高...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值