支持向量机(SVM)详解：理论、特点与不足-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_41453065/article/details/99671668

支持向量机(SVM)是一种基于监督学习的二元线性分类器，通过最大边距超平面进行决策。其核心思想是最大化分类边际，并利用核函数处理非线性问题。SVM的特点包括非线性映射、优化分类边际、依赖少量支持向量，具有良好的鲁棒性和避免维度灾难。然而，SVM在大规模样本和多分类问题上存在挑战，如计算复杂度高和直接解决多类问题困难。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

支持向量机

适用问题：二分类问题
模型类型：判别模型
模型特点：分离超平面、核技巧
学习策略：极小化正则化合页损失、软件额最大化
学习算法：概率计算公式、EM算法

定义：
支持向量机（Support Vector Machine, SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面。SVM使用铰链损失函数（hinge loss）计算经验风险并在求解系统中加入了正则化项以优化结构风险，是一个具有稀疏性和稳健性的分类器。SVM可以通过核方法进行非线性分类，是常见的核学习方法之一。

原理：
线性可分性（linear separability）
在分类问题中给定输入数据和学习目标：
，其中输入数据的每个样本都包含多个特征并由此构成特征空间：
，而学习目标为二元变量示负类（negative class）和正类（positive class）。
若输入数据所在的特征空间存在作为决策边界（decision boundary）的超平面将学习目标按正类和负类分开，并使任意样本的点到平面距离大于等于1 ：

则称该分类问题具有线性可分性，参数分别为超平面的法向量和截距。
满足该条件的决策边界实际上构造了2个平行的超平面作为间隔边界以判别样本的分类：

所有在上间隔边界上方的样本属于正类，在下间隔边界下方的样本属于负类。两个间隔边界的距离被定义为边距（margin），位于间隔边界上的正类和负类样本为支持向量（support vector）。

特点：
(1)非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射；
(2)对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM方法的核心；
(3)支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量。
(4)SVM 是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测