17、线性阈值机器：模式识别与谓词分析

线性阈值机器：模式识别与谓词分析

在模式识别和机器学习领域，线性阈值机器是一种重要的工具。本文将深入探讨线性阈值机器的相关概念，包括softmax函数、谓词顺序以及感知机的表示能力等内容。

1. softmax函数及其替代方案

softmax函数在机器学习中具有重要作用。它经过构造被归一化，当 $a_i = \max_{1\leq k\leq c} a_k$ 时，$softmax_i \approx 1$。并且，softmax函数具有一个显著特性：对其参数进行平移 $a_i \to a_i + \alpha$ 不会改变输出结果，即 $softmax_i (a_1 + \alpha, \ldots, a_c + \alpha) = softmax_i (a_1, \ldots, a_c)$，其中 $i = 1, \ldots, c$。

不过，我们也可以用 $f_i(x) = \frac{a_i}{\sum_{j=1}^{c} a_j}$ 来替代softmax函数。但该替代函数不具备softmax函数的上述特性。在这种情况下，当 $x \to \beta x$ 时，函数具有不变性。

值得注意的是，$\sigma$ 函数以及softmax函数（3.2.35）的非线性会反映在误差指标中，这使得其驻点无法再用正规方程表示。而且，根据 $\sigma$ 函数的选择不同，与回归中使用的误差函数不同，$E(\hat{w})$ 可能是有界的，最小化操作只能得到近似值，因为目标值只能渐近达到。对于驻点的求解，可以使用数值算法，在涉及多个变量的实际应用中，梯度下降法通常是合适的选择。

2. 模式识别与感知机表示能力的联系

模式识别任务与感