14、支持向量机、信息论与神经网络相关知识解读

支持向量机、信息论与神经网络相关知识解读

一、支持向量机（SVM）用于二分类问题

1.1 SVM现存问题与解决思路

在SVM中，存在一些尚未解决的问题，例如如何控制过拟合以及如何预测误分类概率等。将SVM整合到贝叶斯框架中可以取得进展，此时SVM核本质上对应于潜在高斯过程先验的协方差函数。另外，对于将SVM方法扩展到含噪声数据的情况，相对简单的做法是在Wolfe对偶问题（8.24）中添加额外约束 $\lambda_{\mu} \leq C$。这里的 $C$ 是一个参数，大致定义了对误分类示例的惩罚，更精确地说是对违反条件 $t_{\mu}(\mathbf{w} \cdot \boldsymbol{\xi}_{\mu} + w_0) \geq 1$ 的示例的惩罚。当 $C \to \infty$ 时，就恢复到本章所讨论的“硬”SVM分类。

1.2 相关练习解析

• 练习8.1 ：证明SVM优化问题的拉格朗日函数（8.13）关于 $(\mathbf{w}, w_0)$ 是凸函数。
• 练习8.2 ：SVM为每个输入向量 $\boldsymbol{\xi} \in \mathbb{R}^N$ 产生一个二进制输出 $t \in {-1, 1}$，系统由权重向量 $\mathbf{w} \in \mathbb{R}^N$ 和阈值 $w_0$ 进行参数化，即 $t(\boldsymbol{\xi}) = \text{sgn}(\mathbf{w} \cdot \boldsymbol{\xi} + w_0)$。训练SVM的数据由一组问题及其对应答案组成：$D =