【Kernel Method系列】Kernel Method入门

引言：

核方法是20世纪90年代模式识别与机器学习领域兴起的一场技术性革命。其优势在于允许研究者在原始数据对应的高维空间使用线性方法来分析和解决问题，且能有效地规避“ 维数灾难”。在模式识别的特征抽取领域，核方法最具特色之处在于其虽等价于先将原数据通过非线性映射变换到一高维空间后的线性特征抽取手段，但其不需要执行相应的非线性变换，也不需要知道究竟选择何种非线性映射关系。目前，核方法已大量应用到机器学习、模式识别、生物特征识别、生物信息学、数据挖掘、机器学习、图像去噪等领域。

核方法在实际应用中仍然面临大训练集下实现效率低甚至不能实时应用的缺点。一方面，核方法对一个样本进行特征抽取时，需计算该样本与所有训练样本之间的核函数，因此，核方法的特征抽取效率会随着训练样本集的增大而下降。另一方面，核方法作为一类学习方法，依赖和期待利用大训练集来提高方法的泛化性能。这样的特点阻碍了核方法的推广和应用。

1、解决模式识别问题的技术框架

模式识别的目标是依据一个物体的描述数据，区分其所属类别。一个模式识别系统主要包括数据采集、预处理、特征抽取（或特征选择）、分类或匹配等主要步骤。其中，特征抽取主要采用变换的技术实现，在某些情景中，特征选择代替了特征抽取，特征选择一般是从原始数据的所有分量中挑选出若干便于区分各类目标的分量。分类步骤借助于分类器并依据样本的特征抽取结果，识别出一个样本所对应