16、分类模型：原理、算法与应用

分类模型：原理、算法与应用

1. 逻辑分类树

逻辑分类树是一种高效的数据分类结构，数据从根节点流向叶子节点。每个节点作为一个门控函数，对分支中各项在最终激活时的贡献进行加权。灰色区域表示在增量训练方法中会一起学习的变量。

逻辑分类树具有速度优势。若每个门控函数产生二进制输出（如阶跃函数），每个数据点会从每个节点的输出边中选择一条，最终到达一个叶子节点。当树的每个分支都是线性操作时，这些操作可在每个叶子节点聚合为一个线性操作。由于每个数据点都接受专门处理，树通常无需太深，新数据的分类效率极高。

2. 多类逻辑回归

2.1 扩展思路

此前主要讨论了二分类问题，现在探讨如何将模型扩展到处理 $N>2$ 个世界状态的情况。一种方法是构建 $N$ 个一对多的二分类器，每个分类器计算第 $n$ 类存在的概率，与其他类相对比，最终标签根据概率最高的一对多分类器确定。不过，这种方法不够优雅。更合理的方式是将后验概率 $Pr(w|x)$ 描述为一个分类分布，参数 $\lambda = [\lambda_1 …\lambda_N]$ 是数据 $x$ 的函数，即：
$Pr(w|x) = Cat_w[\lambda[x]]$
其中参数 $\lambda_n \in [0,1]$ 且 $\sum_{n} \lambda_n = 1$。构建函数 $\lambda[x]$ 时，需确保满足这些约束条件。

2.2 模型构建

为实现这一目标，定义 $N$ 个激活值（每个类一个）：
$a_n = \varphi_n^T x$
其中 ${\varphi_n} {n=1}^N