28、机器学习中的支持向量机优化方法

机器学习中的支持向量机优化方法

1. 基于粗糙集的支持向量机约简训练集提取

1.1 训练数据边界选择

对于定义在集合 $U$ 上的数据，训练数据的边界通过特定方法选择。对于类别 $X_1$，定义了三个区域：
- 正区域：$POS_R(X_1) = \underline{R}(X_1)$
- 负区域：$NEG_R(X_1) = U - \overline{R}(X_1)$
- 边界区域：$BND_R(X_1) = \overline{R}(X_1) - \underline{R}(X_1)$

其中，$POS_R(X_1)$ 是仅包含类别 1 数据的等价类的并集，$\overline{R}(X_1)$ 是同时包含类别 1 和类别 2 数据的等价类，或仅包含类别 2 数据的等价类的并集。对于 $X_1$ 和 $X_2$，$\overline{R}(X_1)$ 和 $\overline{R}(X_2)$ 的交集即为用于训练支持向量机（SVMs）的边界。

1.2 RS - SVMs 算法

基于上述边界区域的 RS - SVMs 算法步骤如下：
1. 离散化训练集 ：使用等价类算法对训练集 $S$ 进行离散化，形成离散集 $S_d$。
2. 提取正负类数据子集 ：根据训练数据的标签提取正类数据子集 $X_1$ 和负类数据子集 $X_2$。
3. 计算近似和边界区域 ：找出 $X_1$ 和 $X_2$ 的下近似 $\underline{R}(X_1)$、$\underline