15、支持向量机与决策树算法的深入解析与实践

支持向量机与决策树算法的深入解析与实践

1. 支持向量机（SVM）基础与优化

支持向量机（SVM）是一种强大的机器学习算法，在分类和回归任务中都有广泛应用。在实际应用中，对于某些数据集，可能需要对数据进行重新缩放，并通过交叉验证来测试缩放效果。不过，像鸢尾花数据集，由于所有输入的单位都是厘米，所以不需要重新缩放数据，但对于其他任意数据集，这是一个值得考虑的步骤。

1.1 优化SVM的步骤

为了演示SVM的优化过程，我们将使用鸢尾花数据集中较难区分的两个类别：变色鸢尾（Versicolour）和维吉尼亚鸢尾（Virginica）。具体步骤如下：
1. 加载数据 ：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn import datasets

iris = datasets.load_iris()
X_w = iris.data[:, :2]  # 加载鸢尾花数据的前两个特征
y_w = iris.target       # 加载鸢尾花数据的目标值
X = X_w[y_w != 0]
y = y_w[y_w != 0]
X_1 = X[y == 1]
X_2 = X[y == 2]

2. 数据拆分 ：将数据拆分为训练集和测试集。

f