47、图像分类技术：决策树、随机森林与光谱分析的应用

图像分类技术：决策树、随机森林与光谱分析的应用

1. 决策树分类器之CART算法

1.1 CART算法概述

CART（分类与回归树）是一种常见的决策树生长方法。它简化了决策节点的功能选项，每个决策步骤仅涉及一个特征，并使用简单的阈值规则进行决策。与其他监督分类方法一样，CART使用带标签的训练数据构建树，构建完成后可对未知数据进行分类。

1.2 树的生长过程

• 数据输入 ：将所有类别的训练数据输入到根节点。
• 划分选择 ：评估训练像素的所有可能二元划分，选择使生成的两个组中类别混合程度最小的划分。例如，若训练集中有五个类别，期望子组中的类别少于五个，某些情况下希望一个子组仅包含一个类别的像素。
• 持续细分 ：随着树的向下生长，不断细分组，直到叶子节点，此时组中仅包含一个类别的像素，即“纯”组。

1.3 杂质度量

为了衡量训练类别在特定组中的混合程度，使用杂质度量。常见的杂质度量有：
- 基尼杂质（Gini Impurity） ：在第N个节点定义为：
[i(N) = \sum_{j} P_{xj}(1 - P_{xj})]
其中，(P_{xj})是节点N处属于类别(x_j)的训练像素的比例，(1 - P_{xj})是不属于类别(x_j)的比例。若节点的所有像素都来自单个类别，则(P_{xj} = 1)，(i(N) = 0)，表示无杂质。若训练集中有M个均匀分布的类