20、机器学习：从支持向量机到深度学习

机器学习：从支持向量机到深度学习

1. 生成模式核

给定一个生成模型 $p(x)$，我们可以定义一个核：
$k(x, x’) = p(x) \cdot p(x’)$
如果两个输入 $x$ 和 $x’$ 都有较高的概率，那么它们是相似的。

2. 支持向量机（SVM）概述

支持向量机本质上是一个二分类器，但可以通过改变二次问题的公式来实现多分类。方法有两种：一是修改公式以适应多分类；二是将数据集以不同方式分成两部分，为每种划分方式训练一个单独的 SVM，然后通过多数表决等规则组合所有 SVM 分类器的输出进行多分类。

SVM 可以是使用线性核的线性机器，它会构建一个超平面作为决策面，使得正例和反例之间的间隔最大化，从而具有良好的泛化性能。此外，支持向量学习算法可以通过应用多个核来构建不同的学习机器，常见的核有以下三种：
- 多项式学习机器 ：核函数为 $k(x, x’) = (x^T x’ + 1)^p = (\langle x|x’ \rangle + 1)^p$
- 径向基函数网络支持向量机 ：核函数为 $k(x, x’) = \exp \left( -\frac{|x - x’|^2}{2 \cdot \sigma^2} \right)$，在这种类型的 SVM 中，径向基函数的数量及其中心由支持向量的数量和值决定。
- 单隐藏层感知机 ：核函数为 $k(x, x’) = \tanh(a \cdot x^T \cdot x’ + b)$，不过这种类型的 SVM 有一定限制，因为确定给定核是否满足