Opencv学习笔记 - 使用opencvsharp和支持向量机

        以统计学习理论为基础的支持向量机被广泛应用于机器学习的各个领域，是最通用的万能分类器。20世纪90年代，针对当时的神经网络在小样本条件下的不良表现，人们试图从更本质的层次上寻求一种更好的学习机器。在这种需求的激发下，产生了统计学习理论，即研究小样本条件下机器学习规律的理论。1995年，出现了基于统计学习理论的支持向量机（Support Vector Machine，SVM）。与神经网络相比，对于有限样本的学习问题，统计学习理论具有更坚实的数学理论基础，因此SVM取得了很大的成功。

一、支持向量机原理

1、统计学习理论概述

        统计学习理论（Statistical Learning Theory，SLT）在解决机器学习问题中起到了基础性的作用。传统统计学研究的主要是渐近理论，基于传统方法的学习机器在样本数无穷时，往往表现出非常不错的性能，但在样本数有限时却表现出很差的推广能力。在实际应用中，我们面对的通常是有限样本的情况。统计学习理论就是在研究小样本统计估计和预测的过程中发展起来的一种理论，它建立了一套较好的有限样本下机器学习的理论框架，既有严格的理论基础，又能较好地解决小样本、非线性、高维度和局部极小点等实际问题。

        统计学习理论中的SVM是执行SRM原则的典型学习机器[。其基本思想是，在线性分类问题中，选择具有最小VC维的元