8、树集成模型：从训练到解释

树集成模型：从训练到解释

在机器学习领域，树集成模型是一类强大的工具，可用于解决各种预测问题。本文将详细介绍树集成模型的相关算法，重点聚焦随机森林算法，涵盖其训练、评估、解释等多个方面，并引入模型无关的全局可解释性方法。

1. 树集成算法概述

树集成模型主要包括 AdaBoost 和梯度提升（Gradient Boosting）两种算法。
- AdaBoost ：训练一系列决策树，每个决策树的训练数据点带有权重。训练完成后，通过加权多数投票得出最终预测结果，权重较高的决策树在最终预测中影响力更大。
- 梯度提升 ：工作方式略有不同。首先在所有训练数据上训练第一棵决策树，不关联数据点权重。训练完第一棵树后，计算残差误差（实际目标与预测目标的差值），接着训练第二棵决策树来预测第一棵树的残差误差。重复此过程，直到达到预设的树的数量，最终通过对所有树的预测结果求和得到最终预测。

2. 随机森林模型训练

以预测高中生成绩为例，详细介绍随机森林模型的训练过程。

2.1 数据准备

import pandas as pd
from sklearn.preprocessing import LabelEncoder
from sklearn.model_selection import train_test_split

# 加载数据
df = pd.read_csv('data/StudentsPerformance.csv') 

# 编码输入特征
gender_le =