11、机器学习中的树基分类与神经网络及深度学习

机器学习中的树基分类与神经网络及深度学习

1. 树基分类方法概述

树基学习方法在分类问题中具有强大的能力。单棵决策树虽然构建和解释起来较为容易，但对于许多待解决的问题而言，其预测能力可能不足。为了提升预测能力，我们可以使用随机森林和梯度提升树等工具。

1.1 随机森林

随机森林会构建成百甚至上千棵树，并将结果聚合以进行整体预测。每棵树的构建使用了一种称为自助法（bootstrapping）的数据抽样方法，同时还会对预测变量进行抽样。

1.2 梯度提升树

梯度提升树首先会生成一棵相对较小的初始树。在这棵初始树构建完成后，后续的树会基于残差或错误分类情况来生成。这种技术的预期结果是构建一系列树，以改善前一棵树的弱点，从而降低偏差和方差。

1.3 树基方法的应用注意事项

这些方法虽然非常强大，但并非机器学习领域的万能药。不同的数据集需要分析师判断哪些技术适用。应用于分析的技术以及调优参数的选择同样重要，这种精细调优可以使一个好的预测模型与一个优秀的预测模型产生巨大差异。

2. 神经网络简介

2.1 基本定义

神经网络是一个相当宽泛的术语，涵盖了许多相关方法。这里我们主要关注使用反向传播进行训练的前馈网络。在机器学习和认知科学中，人工神经网络（ANNs）是受生物神经网络（动物的中枢神经系统、大脑）启发的统计学习模型家族，用于估计或近似依赖大量输入且通常未知的函数。

2.2 优点与缺点

• 优点 ：ANNs 允许对输入/特征与响应变量之间的高