23、支持向量机（SVM）全解析：从基础到应用

支持向量机（SVM）全解析：从基础到应用

1. 支持向量机概述

支持向量机（SVM）是一种强大的监督学习算法，可用于线性和非线性数据的分类与回归分析。它在工程的各个领域都有广泛应用，如手写OCR、人脸识别、语音识别、自然语言处理、文本挖掘、药物设计、机器故障诊断、桥梁损伤评估和模式识别等。理解SVM的唯一前提是基于拉格朗日乘数法的约束优化。

1.1 几何直觉

SVM用于解决分类问题，可将其视为在特征空间中分离不同类别的任务。以一个简单的二分类问题为例，存在一个决策边界或超平面来分隔两个类别。SVM的目标是选择一个优化的超平面来分离这些类别。

• 支持向量 ：是靠近决策边界的关键数据点。
• 最优超平面 ：要使支持向量与超平面之间的距离最大。
• 边际 ：最近的点（支持向量）与决策边界之间的距离。应选择边际宽度最大的最优决策面。通常，支持向量的数量应极少，它们决定了直线的方程。SVM能有效防止过拟合，并且在处理较多特征时无需大量计算。

以下是一个简单的决策边界选择示例：
| 类型 | 描述 |
| ---- | ---- |
| 非最优超平面 | 到最近负样本的距离 (d_2) 小于到最近正样本的距离 (d_1) |
| 最优超平面 | 到最近负样本的距离 (d_2) 等于到最近正样本的距离 (d_1) |

graph LR
    clas