19、支持向量机的回归与新奇性检测

支持向量机的回归与新奇性检测

1. 支持向量回归

支持向量回归（Support Vector Regression，SVR）是支持向量机在回归问题上的应用。下面将介绍使用 WEKA 和 R 进行支持向量回归的方法。

1.1 WEKA 实现支持向量回归

在 WEKA 中构建支持向量回归模型的步骤如下：
1. 加载数据 ：从 Preprocess 选项卡将数据文件加载到 WEKA 中。注意，独立属性“speed”和依赖属性“dist”都是数值属性，WEKA 会在其 Selected Attribute 面板中显示相应的数据摘要。
2. 切换到分类选项卡 ：加载数据集后，切换到 Classify 选项卡（在 WEKA 中，回归模型与分类模型归为一类）。
3. 选择模型 ：点击 Choose 按钮，导航到 SMOreg 模型，即 weka → classifiers → functions → SMOreg。
4. 设置测试选项和目标属性 ：对于第一个回归模型，选择训练集作为测试选项，并确保 dist 属性是目标属性。
5. 设置核函数和过滤器类型 ：使用默认的线性核函数。为了将该模型与之前构建的线性模型进行比较，需要将 filterType 更改为不进行归一化和标准化。
6. 训练模型 ：点击 Start 按钮训练模型。WEKA 构建的线性回归模型为 $\hat{f}(x) = 3.4x - 11.