2、支持向量机与核方法：原理、应用与进展

支持向量机与核方法：原理、应用与进展

1. 支持向量机研究热点与核方法概述

在当前支持向量机（SV machines）的研究中，为特定应用设计合适的核函数是一个关键问题。对于涉及分类或二进制数据的问题，核方法的应用一直颇具挑战。不过，一些新的研究提出了创新的解决方案。

例如，Watkins提出了使用生成模型构建动态对齐核（Dynamic Alignment Kernels）的概念。该概念基于条件概率乘积之和是有效SV核的观察，特别适用于隐马尔可夫模型（Hidden Markov Models），为DNA分析、语音识别等众多应用领域打开了大门。

2. 线性方法中的核函数

在机器学习中，线性方法如支持向量机、线性回归、主成分分析（PCA）和k - 均值聚类分析等，通常需要将输入数据映射到特征空间。设训练集有案例 (x_1 \cdots x_l \in X)，在监督学习中，这些案例伴有对应的标签或值 (y_1 \cdots y_l)。案例通过映射 (\varphi) 转换为特征向量 (v_1 \cdots v_l \in F)，即 (v_i = \varphi(x_i))。

对于线性最小二乘回归，有原问题和对偶问题两种表述：
- 原问题 ：找到系数向量 (\beta) 使 (|X\beta - y|) 最小，其中 (X) 是设计矩阵。若有 (d) 个特征，(X) 是 (l \times d) 矩阵，第 (i) 行是 (v_i)。当 (l > d) 时，通常通过求解正规方程 (X^T X\beta = X^T y) 来确定 (\beta)，这需要求解系数为 (d \times d) 矩阵 (X^T X)