8、统计与机器学习算法：决策树与支持向量机

统计与机器学习算法：决策树与支持向量机

在机器学习领域，决策树和支持向量机是两种非常重要的算法。本文将详细介绍这两种算法的原理、实现步骤以及如何避免过拟合问题。

决策树算法

关键概念

• 信息增益 ：信息增益越高，特征越好。算法会选择信息增益最高的特征来创建根节点，并在每个节点计算信息增益以选择最佳特征。信息增益也称为 Kullback-Leibler 散度，用于衡量两个概率分布之间的差异。
• 基尼指数 ：用于衡量杂质程度，可用于确定分裂标准的最佳属性。基尼指数越低，杂质越少越好。

实现步骤

以下是使用决策树算法构建模型的详细步骤：
1. 导入所需库 ：

import os
import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.metrics import confusion_matrix, roc_curve, auc
import itertools
from sklearn import tree
import seaborn as sns
im