71、支持向量机（SVM）：原理、应用与OpenCV实现

支持向量机（SVM）：原理、应用与OpenCV实现

1. 支持向量机概述

支持向量机（SVM）是一种分类算法，基本形式用于基于一组样本分离两个类别。其扩展算法可实现多类（$N_c > 2$）分类。SVM的核心概念是使用核函数，将特定维度$N_d$的数据点映射到更高维度$N_{KS}$的空间，即核空间。在这个高维空间中，通常能找到一个线性分类器来分离两个类别，即便在原始低维空间中无法进行线性分离。

1.1 最大间隔分类器

SVM被称为最大间隔分类器，因为它会在核空间中选择一个超平面，该超平面不仅能分离两个类别，还能使与每个类别中最接近超平面的样本之间的距离（间隔）最大。这些接近超平面并定义其位置的样本被称为支持向量。一旦确定了支持向量，后续只需保留它们，就能对未知类别的新数据点进行分类决策。

1.2 决策超平面方程

对于线性SVM，决策超平面可以用方程$\vec{w} \cdot \vec{x} + b = 0$来描述。其中，$\vec{x}$是核空间中的点，向量$\vec{w}$定义了超平面的法线。通常，$\vec{w}$会被归一化，使得决策超平面与支持向量之间的距离在两个方向上均为$1 / |\vec{w}|$。值$b$表示超平面相对于通过原点的平行超平面的偏移量。给定这样的参数化，支持向量将位于$\vec{w} \cdot \vec{x} + b = + 1$和$\vec{w} \cdot \vec{x} + b = -1$所定义的平面上。

graph LR
    A[原始低维空间数据点] --> B[映射到高维核空间]
    B