19、支持向量机：从基础到应用

支持向量机：从基础到应用

1. 引言

支持向量机（Support Vector Machine, SVM）作为一种强大的监督学习算法，广泛应用于分类和回归任务中。SVM的核心思想是通过寻找一个最优超平面来最大化不同类别之间的间隔，从而实现分类。本文将详细介绍SVM的基本概念、数学原理及其Python实现。

2. 支持向量机的基本概念

2.1 什么是支持向量机？

支持向量机是一种基于几何间隔最大化的分类算法。它试图找到一个超平面，使得不同类别的样本点在该超平面两侧的距离尽可能大。这种超平面被称为“最优超平面”，而距离超平面最近的样本点称为“支持向量”。

2.2 线性可分与线性不可分

当数据线性可分时，SVM可以直接找到一个最优超平面进行分类。然而，现实中的数据往往不是线性可分的。此时，SVM通过引入核函数（Kernel Function）将原始数据映射到高维空间中，使其在高维空间中线性可分。

2.3 决策边界与支持向量

在二维平面上，决策边界是一个直线；在三维空间中，它是一个平面；而在更高维度的空间中，它是一个超平面。支持向量是指那些距离决策边界最近的样本点。这些点决定了超平面的位置和方向。

3. 数学基础

3.1 硬边距分类器

硬边距分类器假设数据完全线性可分，并试图找到一个超平面，使得所有正类样本点都在超平面的一侧，所有负类样本点都在另一侧。设样本点为 ((x_i, y_i))，其中 (y_i \in {-1, +1})，则硬边距分类器的目标是最小化以下目标函数：

[ \min