15、支持向量机变体的性能分析与应用

支持向量机变体的性能分析与应用

1. 最小二乘支持向量机（Least - Squares Support Vector Machines）

1.1 隶属函数与分类规则

对于类别 $i$，数据样本 $x$ 的隶属函数 $m_i(x)$ 可通过平均操作得到：
[m_i(x)=\frac{1}{n - 1}\sum_{j\neq i,j = 1}^{n}m_{ij}(x)]
得到的隶属函数形状为截断多面棱锥，但部分等值面与决策函数不平行。数据样本 $x$ 被分类到 $\arg\max_{i = 1,\cdots,n}m_i(x)$ 对应的类别。

比较最小操作和平均操作，$m_i(x)=1$ 的区域相同，但 $m_i(x)<1$ 的区域不同。最小操作的决策边界与可分类区域的特定边界相同，其识别率通常优于或等于传统成对最小二乘支持向量机，而平均操作并非如此。

1.2 一次性最小二乘支持向量机（All - at - Once Least - Squares Support Vector Machines）

与一次性支持向量机类似，可定义一次性最小二乘支持向量机。通过求解以下优化问题得到最大间隔分类器：
[
\begin{align }
&\text{minimize}\quad\frac{1}{2}\sum_{j = 1}^{n}|w_j|^2+\frac{C}{2}\sum_{i = 1}^{M}\sum_{j\neq y_i,j = 1}^{n}\xi_{ij}^2\
&\text{subject to}\quad w_j^T\varphi(x_i)