15、支持向量机与决策树算法实战

支持向量机与决策树算法实战

1. 支持向量机（SVM）

1.1 SVM数据处理与优化基础

在使用SVM时，对于任意数据集可考虑重新缩放数据并通过交叉验证测试缩放效果。不过，鸢尾花数据集的所有输入单位均为厘米，因此无需重新缩放。

为了优化SVM，以鸢尾花数据集中较难区分的变色鸢尾（Versicolour）和维吉尼亚鸢尾（Virginica）两个类别为例，主要关注以下内容：
- 设置scikit - learn管道：一系列转换操作，最后连接一个预测模型。
- 网格搜索：对不同参数的多个SVM版本进行性能扫描。

1.2 操作步骤

1.2.1 数据加载与准备

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn import datasets

iris = datasets.load_iris()
X_w = iris.data[:, :2]  
y_w = iris.target       
X = X_w[y_w != 0]
y = y_w[y_w != 0]
X_1 = X[y == 1]
X_2 = X[y == 2]

1.2.2 数据划分

from sklearn.model_selection import train_test_split
X_train, X_test, y_trai