决策树学习方法及其适用情况解析

最新推荐文章于 2025-11-25 13:01:19 发布

原创

最新推荐文章于 2025-11-25 13:01:19 发布 · 973 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#决策树 # CLS算法 # C4.5

20、解释决策树学习方法及其适用情况。

决策树学习方法

决策树学习方法是一种探索概念描述空间的高效方法。以CLS算法为例，其主要思想和步骤如下：

主要思想

从空决策树开始，通过添加新的判别节点来改进原始决策树，直到决策树能够正确分类训练示例。

算法步骤

步骤1 ：决策树T的初始状态仅包含一个根节点(X, Q)，其中X是所有训练示例的集合，Q是所有测试属性的集合。
步骤2 ：如果T的所有叶节点(X′, Q′)满足以下状态：
当第一个向量X′的所有训练示例都属于同一类，或者
第二个向量Q′为空时，
停止学习算法的执行，学习结果为T。
步骤3 ：否则，选择一个不满足步骤2中状态的叶节点(X′, Q′)。
步骤4 ：对于Q′，根据一定规则选择测试属性。假设X′被属性b的不同值划分为m个非相交子集X′i（1 ≤ i ≤ m），从(X′, Q′)伸出m个分支，每个分支代表b的不同值，然后形成m个新的叶节点(X′i, Q′ - {b})（1 ≤ i ≤ m）。
步骤5 ：回到步骤2。

方法特点

决策树学习方法的构建过程是一个假设特化的过程，可看作是只有一个算子的学习算法，即通过添加新的判别条件（判别节点）来特化当前假设，并递归调用该算子作用于每个叶节点来构建决策树。

适用情况

对于无矛盾的训练集（即不存在两个属性不同但属于同一类的示例），当Q′为空时，X′的所有训练示例必然属于同一类，此时停止条件可从这两个条件中任选其一。
对于存在矛盾的训练集，上述情况不一定成立。此外，与C4.5不同，该方法基于信息熵递归地将连续值划分为多个离散属性，且采用MDL标准，由于局部数据较少，容易受到数据噪声的影响。

21、在构建决策树的过程中，应该采用什么原则来选择测试属性？如何实现它？

在构建决策树时，选择测试属性的原则是使分类信息熵 $ H(X|a) $ 最小，也就是使信息增益 $ I(X; a) $ 最大。

信息增益 $ I(X; a) $ 的计算公式为：

$$
I(X, a) = H(X) - H(X|a)
$$

其中：

$ H(X) $ 是训练集的信息熵
$ H(X|a) $ 是训练集对属性 $ a $ 的条件熵，其展开式为：

$$
H(X|a) = \sum_j p(a = a_j)H(X_j)
$$

$ H(X_j) $ 的定义为：

$$
H(X_j) = -\sum_i p(C_i|a = a_j) \log p(C_i|a = a_j)
$$

实现方法是：采用 Quinlan 的 ID3 算法，首先从整个训练示例集 $ X $ 中随机选择规模为 $ W $ 的子集 $ X_1 $（$ W $ 为窗口规模，该子集称为窗口），然后以使得表达式：

$$
H(X|a) = \sum_j p(a = a_j)H(X_j)
$$

的值最小为标准，选择每个测试属性来形成当前决策树。

22、与其他分类方法相比，支持向量机有哪些显著优势？从理论上进行解释。

支持向量机新训练方法的优势

支持向量机使用新训练方法时具备显著优势，具体如下：

1. 分类器性能显著提升

当支持向量机采用新的训练方法，即先使用主核（高斯核）训练SVM，再根据等式(8.42)、(8.43)和(8.44)修改训练结果得到修改后的核˜k，最后用修改后的核˜k训练SVM，这种方式能使分类器的性能得到显著提高。

2. 支持向量数量减少

新训练方法能减少支持向量的数量。从理论上来说，支持向量数量的减少意味着在进行模式识别时，需要处理和计算的向量数量降低，从而减少了计算量和存储空间的需求。

3. 模式识别速度提高

由于支持向量数量减少，在模式识别过程中，计算和处理的复杂度降低，进而提高了模式识别的速度。

通过新训练方法对支持向量机进行优化，使得其在分类性能和识别速度上都有明显提升，相比其他分类方法具有显著优势。

23、什么是深度学习？列出深度学习的特点。

深度学习

定义

深度学习是机器学习中的一个新领域，其核心思想是模拟人类大脑的层次抽象结构，通过无监督方法分析大规模数据，揭示大数据中包含的有价值信息。它被设计用于研究大数据，为大数据分析提供深度思考的能力，还用于模仿人类大脑多层神经网络的信息处理机制，将低级特征组合形成更抽象的高级表示属性来解释数据（如图像、声音和文本）的语义。