使用ID3算法根据信息增益构建决策树

莫聽穿林打叶聲

于 2024-12-25 12:11:10 发布

阅读量1.5k

点赞数 27

分类专栏： # 机器学习文章标签：决策树机器学习信息增益 ID3算法

本文链接：https://blog.youkuaiyun.com/qq_43276566/article/details/144711289

版权

机器学习专栏收录该内容

17 篇文章

订阅专栏

题目1

在这里插入图片描述

题目2

根据ID3（信息增益）方法利用以下数据集构建决策树。

election	season	oil price	stock price
no	winter	rise	rise
no	summer	fall	fall
no	summer	rise	rise
yes	winter	rise	fall
no	winter	fall	fall
yes	summer	rise	rise
yes	summer	fall	fall
yes	winter	fall	fall

设数据集为S，

step1，计算熵
$\left( \frac{3}{8} \log_2 \frac{3}{8} + \frac{5}{8} \log_2 \frac{5}{8} \right)= 0.954$
step2：计算条件熵

step2.1 计算特征election的条件熵
- $g (S, e l ec t i o n) = H (S) - H (S ∣ e l ec t i o n)$
- $\frac{4}{8} H(S|election=yes) + \frac{4}{8} H(S|election=no)$
- $\left( \frac{1}{4} \log_2 \frac{1}{4} + \frac{3}{4} \log_2 \frac{3}{4} \right)$
- $\left( \frac{2}{4} \log_2 \frac{2}{4} + \frac{2}{4} \log_2 \frac{2}{4} \right)$
- 得 $H (S ∣ e l ec t i o n) = 0.9055$
- 故 $g (S, e l ec t i o n) = 0.954 - 0.9055 = 0.0485$
step2.2 计算特征season的条件熵
- $g (S, se a so n) = H (S) - H (S ∣ se a so n)$
- $\frac{4}{8} H(S|season=winter) + \frac{4}{8} H(S|season=summer)$
- $\left( \frac{1}{4} \log_2 \frac{1}{4} + \frac{3}{4} \log_2 \frac{3}{4} \right) = 0.811$
- $\left( \frac{2}{4} \log_2 \frac{2}{4} + \frac{2}{4} \log_2 \frac{2}{4} \right) = 1$
- 得 $H (S ∣ se a so n) = 0.9055$
- 故 $g (S, se a so n) = 0.954 - 0.9055 = 0.0485$
step2.3 计算特征oil price 的条件熵
- $g (S, o i lp r i ce) = H (S) - H (S ∣ o i lp r i ce)$
- $\frac{4}{8} H(S|oil price=rise) + \frac{4}{8} H(S|oil price=fall)$
- $\left( \frac{3}{4} \log_2 \frac{3}{4} + \frac{1}{4} \log_2 \frac{1}{4} \right)$
- $\left( \frac{0}{4} \log_2 \frac{0}{4} + \frac{4}{4} \log_2 \frac{4}{4} \right) = 0$
- 得 $H (S ∣ o i lp r i ce) = 0.4055$
- 故 $g (S, o i lp r i ce) = 0.954 - 0.4055 = 0.5485$

step3：选择信息增益最大的特征为根节点，即oil price为根节点。
step4：将 $S$ 根据特征oil price=rise和fall，划分为 $S_1$ ， $S_2$ ，其中oil price=fall，stock price全部为fall，则 $S_2$ 为叶节点。对 $S_1$ 从特征election 和season中选择新的特征。

step4.1 计算 $g(S_1, election)=H(S_1)-H(S_1|election)$
- $H(S_1|election)=\frac{2}{4}H(S_1|election=no)+\frac{2}{4}H(S_1|election=yes)$
- $H(S_1|election=no)=-\frac{2}{2}\log_2 \frac{2}{2}-\frac{0}{2}\log_2 \frac{0}{2} = 0$
- $H(S_1|election=yes)=-\frac{1}{2}\log_2 \frac{1}{2}-\frac{1}{2}\log_2 \frac{1}{2} = 1$
- 得 $H(S_1|election) = 0.5$
- 故 $g(S_1, election)=H(S_1)-H(S_1|election)=0.811-0.5=0.311$
step4.2 计算 $g(S_1, season)=H(S_1)-H(S_1|season)$
- H(S_1)=H(S|oil price=rise)=
- $H(S_1|season) = \frac{2}{4}H(S_1|season=winter)+ \frac{2}{4} H(S_1|season=summer)$
- $H(S_1|season=winter)=-\frac{1}{2}\log_2 \frac{1}{2}-\frac{1}{2}\log_2 \frac{1}{2} = 1$
- $H(S_1|season=summer)=-\frac{2}{2}\log_2 \frac{2}{2}-\frac{0}{2}\log_2 \frac{0}{2} = 0$
- 得 $H(S_1|season) = 0.5$
- 故 $g(S_1, season)=H(S_1)-H(S_1|season)=0.811-0.5=0.311$

step5： $g(S_1, election)$ 和 $g(S_1, season)$ 一样，这里选择election作为节点划分。election=no，stock price全为rise，为叶子节点。对数据集election=yes，设为 $H(S_{11})$ ，只有season特征，选择season作为划分特征，两子集都为纯。当 season = winter 时，stock price = fall。当 season = summer 时，stock price = rise。

oil price?
├── fall: stock price = fall
└── rise:
    ├── election?
    │   ├── no: stock price = rise
    │   └── yes:
    │       ├── season?
    │       │   ├── winter: stock price = fall
    │       │   └── summer: stock price = rise

log计算：

$\displaystyle -\frac{1}{2}\log_2 \frac{1}{2}-\frac{1}{2}\log_2 \frac{1}{2} = 1$
$\displaystyle -\frac{2}{2}\log_2 \frac{2}{2}-\frac{0}{2}\log_2 \frac{0}{2} = 0$
$\displaystyle -\frac{2}{3}\log_2 \frac{2}{3}-\frac{1}{3}\log_2 \frac{1}{3} = 0.918$
$\displaystyle - \frac{3}{4} \log_2 \frac{3}{4} - \frac{1}{4} \log_2 \frac{1}{4}=0.811$
$\displaystyle - \frac{3}{5} \log_2 \frac{3}{5} - \frac{2}{5} \log_2 \frac{2}{5}=0.971$
$\displaystyle - \frac{1}{5} \log_2 \frac{1}{5} - \frac{4}{5} \log_2 \frac{4}{5}=0.722$
$\displaystyle - \frac{1}{6} \log_2 \frac{1}{6} - \frac{5}{6} \log_2 \frac{5}{6}=0.650$