94、支持向量机的监督学习

支持向量机的监督学习

1. 引言

从示例中学习的愿望与人类历史一样悠久，而计算机的发明让这一愿望达到了新的高度。支持向量机（SVMs）在许多实际应用中展现出了卓越的性能。不过，除了SVMs，还有很多替代方法，比如经典的k近邻方法、决策树、神经网络以及其他基于核的方法。

SVMs是新一代的学习系统，它基于以下几个方面构建：
- 统计学习理论
- 优化理论（对偶概念）
- 再生核希尔伯特空间（RKHSs）
- 高效的数值算法

这种综合特性以及在实践中的出色表现，让SVMs吸引了各个领域研究人员的关注。SVMs的应用领域广泛，包括文本分类、手写字符识别、纹理和图像分类、蛋白质同源性检测、基因表达分析、医学诊断以及行人与面部检测等。

学习任务主要分为分类和回归。在分类任务中，目标变量Y是离散的，例如在二元分类中，Y只有两个标签。像垃圾邮件检测就是二元分类的一个应用场景。而回归任务则是要从一些函数值来近似“整个”实值函数，此时Y是不可数的。这里所讨论的问题都属于监督学习，即所有输入向量都配有对应的目标函数值（标记数据）。与之相对的是半监督学习和无监督学习，前者利用标记和未标记的数据，后者则没有标记数据，只能利用输入向量。

2. 背景

现代学习理论的历史可以追溯到高斯和勒让德时代，但计算机的出现为其带来了巨大的推动力。20世纪30年代，从哲学和统计理论的角度，人们对归纳推理的原理有了革命性的认识。统计学习理论始于20世纪60年代，而支持向量机及其RKHS解释直到20世纪90年代才被发现，随后在应用和理论分析方面都取得了巨大的发展。

2.1 线性回归的发展