8、统计与机器学习算法：决策树与支持向量机实战

统计与机器学习算法：决策树与支持向量机实战

在机器学习领域，决策树和支持向量机是两种常用且强大的算法。本文将详细介绍这两种算法的原理、操作步骤，并通过具体的代码示例展示如何使用它们进行建模和预测。

一、决策树算法

1.1 关键概念

• 信息增益 ：信息增益越高，特征越好。它也被称为Kullback-Leibler散度，用于衡量两个概率分布在同一变量上的差异。如果KL散度为0，则两个分布相等。算法会选择信息增益最高的特征来创建根节点，并在每个节点计算信息增益以选择最佳特征。
• 基尼指数 ：是衡量杂质程度的指标，可用于确定分裂标准的最佳属性。基尼指数越低，杂质越少越好。

1.2 操作步骤

1.2.1 准备数据

我们将使用 backorders.csv 文件构建决策树模型，以下是具体的操作步骤：

# 导入所需库
import os
import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.metrics import confusion_matrix, r