16、分类模型：原理、算法及应用

分类模型：原理、算法及应用

1. 分类树与多类逻辑回归

1.1 逻辑分类树

逻辑分类树中，数据从根节点流向叶子节点。每个节点是一个门控函数，它对最终激活中分支项的贡献进行加权。灰色区域表示在增量训练方法中一起学习的变量。

逻辑分类树具有速度优势。若每个门控函数产生二进制输出（如 Heaviside 阶跃函数），则每个数据点从每个节点仅沿着一条输出边传递，最终到达一个叶子节点。当树中的每个分支都是线性操作时，这些操作可以聚合为每个叶子节点的单个线性操作。由于每个数据点都接受专门处理，所以树通常不需要很深，新数据可以非常高效地分类。

1.2 多类逻辑回归

之前讨论的是二元分类，现在探讨如何将模型扩展到处理 $N>2$ 个世界状态。一种方法是构建 $N$ 个一对多的二元分类器，每个分类器计算第 $n$ 类存在的概率，而不是其他任何类。最终标签根据概率最高的一对多分类器分配。

更合理的方法是将后验概率 $Pr(w|x)$ 描述为分类分布，其中参数 $\lambda = [\lambda_1 …\lambda_N]$ 是数据 $x$ 的函数：
[Pr(w|x) = Cat_w[\lambda[x]]]
参数范围为 $\lambda_n \in [0,1]$ 且总和为 1，即 $\sum_{n} \lambda_n = 1$。在构建函数 $\lambda[x]$ 时，必须确保遵守这些约束。

为此，定义 $N$ 个激活（每个类一个）：
[a_n = \varphi_n^T x]
其中 ${\varphi_n} {n=1}^N$ 是参数向量。通常在每个数