27、机器学习中的SVM与集成学习方法

机器学习中的SVM与集成学习方法

1. SVM的核函数与应用

多项式函数的弯曲或分离超平面数量与其设定的次数有关，次数越高，计算时间越长。在使用Sigmoid和多项式核函数时，有多个参数需要确定，比如两者都有的 gamma 和 coef0 ，以及多项式的 degree 。由于难以确定不同值对这些参数的影响，需要通过网格搜索等方法测试不同的值组合，并根据实际情况评估结果。

虽然可以创建自己的核函数，但大多数数据问题使用径向基函数（RBF）就能轻松解决。只需系统地尝试不同的 C 和 gamma 值组合，直到在验证集或交叉验证过程中获得最佳结果。

以手写数字识别任务为例，展示如何使用支持向量机（SVM）解决复杂问题。具体步骤如下：
- 加载数据集 ：

import numpy as np
from sklearn.datasets import load_digits

digits = load_digits()
X, y = digits.data, digits.target

该数据集有1797个示例， y 变量包含0到9的数字标签， X 变量每行代表一个示例，每个示例有64个特征，对应8x8像素矩阵扁平化后的像素值。SVM算法学习到当数据中某些像素同时激活时，所代表的图像对应特定数字。