19、AI技术：从决策树到深度学习的探索

AI技术：从决策树到深度学习的探索

1. 决策树算法在AI中的应用

1.1 决策树算法概述

决策树是机器学习中的关键算法，对AI的实现和学习有着重要影响。它历史悠久，最早的算法可追溯到20世纪70年代，经过多年发展有了许多变体。决策树作为核心的符号主义算法，具有直观易懂的特点，其输出容易转化为规则，便于人类理解，且使用起来极为简便。这使得它在处理需要复杂输入数据矩阵转换或精确调整超参数的模型时，成为一种高效且有吸引力的选择。

1.2 基于数据分割的结果预测

在统计学中，当我们有一组测量值时，会用算术平均值来描述它们；而对于一组类别或属性，会用众数来代表。平均值和众数都能让我们更有信心地猜测下一个元素，因为它们产生的错误最少，可视为从现有数据中学习答案的预测器。

决策树通过将数据集分割成更小的集合，利用平均值和众数作为预测器。这种将问题分解以寻求解决方案的策略，类似于分治法算法。算法从样本观察开始，通过将输入矩阵不断分割成更小的分区，回溯生成输出类（或回归问题中的数值）的规则，直到触发停止规则。这一过程体现了人类的逆向演绎思维。

在机器学习中，逆向推理是通过在所有可能的分割训练样本的方式中进行搜索，采用贪心算法选择能使结果分区统计测量最大化的分割。贪心算法在优化过程的每一步都选择最大化当前结果，但可能无法实现全局优化。

决策树分割数据需遵循一个原则：每个初始数据的分区都应使目标结果的预测更简单，即具有与原始样本不同且更有利的类别（或值）分布。算法通过评估特征及其值来确定数据分割，以实现特殊统计测量的最大改进，这个统计测量在决策树中起到成本函数的作用。

常用的统计测量包括基尼不