吃瓜笔记---第六章支持向量机

墨衍会员 · AI 创作全网分发码龄4年

关注

原创最新推荐文章于 2026-06-06 13:18:03 发布 447 阅读 AI 写同款· GEO 优化 ›

西瓜书第六章笔记及答案——支持向量机 目录第6章 支持向量机6.1间隔与支持向量6.2对偶问题6.3核函数6.4软间隔与正则化6.5支持向量回归第6章 支持向量机 6.1间隔与支持向量支持向量（support vector）：距离超平面最近的且满足一定条件的几个训练样本点间隔（margin）：两个不同类别的支持向量到超平面的距离之和 支持向量机（support vector machine）：最大化间隔 6.2对偶问题对偶问题（dual problem）：实质相同但从不同角度提出不同提法的一对问题。 支持向量机本身是一个凸二次规划问阅读详情

注：本文只是本人阅读西瓜书及南瓜书的阅读笔记和心得，可能只有自己能看懂，鉴于本人水平有限，有极大可能出现错误，欢迎读者批评指正

1、支持向量机（support vector machine，SVM）

支持向量机是一种二分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使他有别于感知机。支持向量机的学习策略就是间隔最大化，也可形式化为求解一个凸二次规划问题。

2、间隔与支持向量

对于（6.5）式，可以写成以下形式

$\underset{w,b}{min} \frac{1}{2}||w||^2$

$s.t.\ y_i(w^Tx_i+b)\geqslant 1, \ \ i=1,2,3...,m.$

这就是支持向量机的基本型

3、拉格朗日对偶

对于支持向量机的基本型求解，这里使用拉格朗日乘子法，并得到其对偶问题。

拉格朗日函数： $L(w,b,\alpha )=\frac{1}{2}||w||^2+\sum_{i=1}^{m}\alpha _i(1-y_i(w^Tx_i+b))$

对w,b求下确界： $d(\alpha )=\underset{w,b\in D}{inf} \left \{L(w,b,\alpha ) \right \}$ （1）

对w,b分别求偏导并使其偏导等于0：

$w=\sum_{i=1}^{m}\alpha _iy_ix_i$

$0=\sum_{i=1}^{m}\alpha _iy_i$

带入（1）式并求最大值就得到了原问题的对偶问题

$\underset{\alpha }{max}\sum_{i=1}^{m}\alpha _i-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _i\alpha_jy_iy_jx_i^Tx_j$

$s.t.\ \sum_{i=1}^{m}\alpha _iy_i=0, \alpha_i\geq 0$

（后续完善）

标签

#支持向量机 #机器学习 #人工智能

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

西瓜书学习笔记——第六章：支持向量机 西瓜书学习笔记——第六章：支持向量机6. 本章简介6.1 间隔与支持向量6.2 对偶问题6.3 核函数6.4 软间隔与正则化6.5 支持向量回归6.6 核方法 6. 本章简介 支持向量机（Support Vector Machine），简称SVM，是一种经典的二分类模型，属于监督学习算法。 6.1节：介绍了支持向量机的目标是确定一个对样本的分类结果最鲁棒的线性分类器，即找到一个具有最大间隔的划分... 阅读详情

0

deeplearningcc

博客等级

码龄4年 0粉丝 10原创

+ 关注

评论

成就一亿技术人!

拼手气红包6.0元

还能输入1000个字符

插入表情

表情包

代码片

HTML/XML
objective-c
Ruby
PHP
C
C++
JavaScript
Python
Java
CSS
SQL
其它

条评论被折叠查看

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。