21、监督选择性组合的支持核机：原理与应用解析

监督选择性组合的支持核机：原理与应用解析

1. 支持核机与相关核机基础

在模式识别中，我们常使用训练集来训练模型。设训练集为${(x_j =(x_{1j}, …, x_{nj}), y_j), j =1, …, N}$，其中每个对象$\omega_j$由类别成员索引$y_j = y(\omega_j) \in{−1, 1}$和$n$个特定模态特征值$x_{ij} = x_i(\omega_j) \in X_i$表示，并且在这些特征空间中定义了核函数$K_i(x’_i, x’‘_i) : X_i×X_i \to R$。

经典的支持向量机（SVM）有其广义的构造形式，用于在核诱导的假设线性空间的笛卡尔积中进行贝叶斯决策。在一些关于类特定先验分布密度的自然假设下，超平面参数$(a, b)=(a_1, …, a_n, b)$的贝叶斯估计是以下优化问题的解：
[
\begin{cases}
-\ln \Psi(a_1, …, a_n)+c \sum_{j=1}^{N} \delta_j \to \min (a_i \in \tilde{X} i, b\in R, \delta_j \in R) \
y_j (\sum {i=1}^{n} a_ix_{ij} +b) \geqslant 1 - \delta_j, \delta_j \geqslant 0, j = 1, …, N
\end{cases}
]
这个广义训练准则与经典SVM的区别仅在于惩罚项$-\ln \Psi(a_1, …, a_n)$。

为了在训练准则中强调信息丰富的对象表示模态并抑制冗余模态，提出了两个先验密度的参数族$\Psi(a