14、工程师的统计学习入门：树模型与神经网络详解

工程师的统计学习入门：树模型与神经网络详解

在工程领域，统计学习起着至关重要的作用，它能够帮助工程师们从大量的数据中提取有价值的信息，进行预测和决策。本文将深入探讨分类树和基本神经网络这两个重要的统计学习方法。

1. 分类树

1.1 基于树的函数估计

基于树的函数估计是一种简单且易于计算的方法。然而，它得到的是分段连续的近似函数 $\hat{m}(x)$，如果真实函数 $m(x)$ 是平滑的，这种近似可能就不太理想。但在分类问题中，树所代表的函数值的离散性反而成为了优势，因为数据分析的目标——类别标签通常也只取有限个值。

1.2 分类树的构建

假设 $(X_j, Y_j)$，$j = 1, \ldots, N$ 是独立同分布的，且 $Y_j \in {0, 1}$，即只考虑两个类别。分类函数可以表示为：
[c(x) = \sum_{k=1}^{M} c_k 1_{R_k}(x)]
其中，$c(x)$ 由一个具有 $M$ 个终端节点的树给出，该树将输入空间划分为 $R_1, \ldots, R_M$。通过将 $c_k$ 的值限制为 0 和 1，$c(x)$ 也只取 0 和 1 这两个值。

树的构建过程与回归类似，但需要选择系数的估计 $\hat{c} k$，并为分类问题选择合适的损失函数进行停止或剪枝。最优贝叶斯分类器为：
[c_B(x) =
\begin{cases}
1, & \text{if } \pi(x) = pr(Y_j = 1 | X_j = x) > \frac{1}{2} \
0, & \text{othe