信息增益与香农熵在机器学习中的应用

在机器学习中，信息增益和香农熵是两个重要的概念，用于评估和选择特征在分类问题中的重要性。本文将详细介绍信息增益和香农熵的定义和原理，并提供相应的源代码示例。

1. 信息增益

信息增益是一种衡量特征对于分类问题的贡献程度的指标。在决策树算法中，通过计算每个特征的信息增益来选择最佳的划分特征。信息增益的计算基于香农熵的概念。

香农熵是用于衡量一个随机变量的不确定性的指标。在分类问题中，我们可以将香农熵看作是对数据集合的纯度的度量。如果一个数据集合完全属于同一类别，则熵最小；如果一个数据集合中包含多个不同类别的样本，则熵最大。

下面是计算香农熵的源代码示例：

import math

def calculate_entropy(labels):
    label_counts = {
   <