8、统计与机器学习算法：决策树与支持向量机详解

统计与机器学习算法：决策树与支持向量机详解

在机器学习领域，决策树和支持向量机是两种常用且强大的算法。本文将详细介绍这两种算法的原理、实现步骤以及如何避免过拟合问题。

决策树算法

信息增益与基尼指数

信息增益和基尼指数是决策树算法中用于选择最佳特征进行节点划分的重要指标。
- 信息增益 ：信息增益越高，特征越好。它也被称为Kullback-Leibler散度，用于衡量两个概率分布在同一变量上的差异。如果KL散度为0，则两个分布相等。
- 基尼指数 ：是衡量杂质程度的指标，基尼指数越低，杂质越少，特征越优。其计算公式为：
[Gini = 1 - \sum_{i=1}^{n} p_{i}^{2}]
其中，(p) 是训练实例属于特定类别的概率。

决策树模型构建步骤

以下是使用决策树算法构建模型的详细步骤：
1. 导入所需库 ：

import os
import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.metrics import confusion_matrix,