信息熵所衍生的知识点理解

逻辑先后顺序

1. 信息熵（H）：数据集的“混乱度”。混乱越大，熵越高。

2. 互信息（MI）：特征与目标之间的“共享信息”。共享信息越多，相关性越强。

3. 条件熵（H(Y|X)）在已知特征X的情况下，目标Y的“剩余混乱度”。

4. 信息增益（IG）通过特征X减少的混乱度，表示特征的重要性。

5. 信息划分（SI）特征X分裂数据集带来的“信息量”，反映分裂的复杂度。

6. 增益率（GR）信息增益与信息划分的比值，确保特征选择既有高信息增益又不太复杂。

与决策树相关：信息熵（H）、互信息（MI）、信息增益（IG）、信息划分（SI）、增益率（GR）、基尼指数（Gini Index）

与特征选择相关：互信息（MI）、信息增益（IG）