32、支持向量机分类：原理与应用

支持向量机分类：原理与应用

1. 二元分类概述

在许多场景中，我们期望机器学习算法能够预测多个离散结果中的一个。例如，电子邮件客户端将邮件分为个人邮件和垃圾邮件，这就是一个具有两种结果的分类问题。再如，望远镜识别夜空中的物体是星系、恒星还是行星。通常，结果的数量较少，并且这些结果之间往往没有额外的结构。

在二元分类中，标签或输出的可能取值集合是二元的，我们用 {+1, -1} 来表示。也就是说，我们考虑的预测器形式为：
[f : R^D \to {+1, -1}]
每个示例（数据点） (x_n) 被表示为一个由 (D) 个实数组成的特征向量，标签通常分别称为正类和负类。需要注意的是，不要从 +1 类的“正”字中推断出直观的属性。例如，在癌症检测任务中，患有癌症的患者通常被标记为 +1。原则上，可以使用任何两个不同的值，如 {True, False}、{0, 1} 或 {red, blue}。

2. 支持向量机（SVM）简介

支持向量机（SVM）是一种解决二元分类任务的方法。与回归问题类似，这是一个有监督的学习任务，我们有一组示例 (x_n \in R^D) 以及它们对应的二元标签 (y_n \in {+1, -1})。给定一个由示例 - 标签对 ({(x_1, y_1), \ldots, (x_N, y_N)}) 组成的训练数据集，我们希望估计模型的参数，以使分类误差最小。

选择使用 SVM 来阐述二元分类有两个主要原因：
- 几何视角 ：SVM 提供了一种从几何角度思考有监督机器学习的方式。与基于概率模型、使用最大似然估计和贝叶斯推断的方法不同，SVM 基于几何直觉设