46、线性分类模型中的判别函数解析

线性分类模型中的判别函数解析

1. 判别函数概述

判别函数是一种将输入向量 $x$ 分配到 $K$ 个类别（记为 $C_k$）中的函数。在本文中，我们主要关注线性判别函数，即决策面为超平面的判别函数。为了简化讨论，我们先从两类情况入手，再探讨类别数 $K>2$ 的扩展情况。

1.1 与回归模型的对比

与回归模型不同，由于存在非线性函数 $f(·)$，这些模型的参数不再是线性的。这会导致其分析和计算性质比线性回归模型更复杂。不过，与后续会研究的更一般的非线性模型相比，这些模型仍然相对简单。

1.2 输入变量的变换

如果我们首先使用基函数向量 $\varphi(x)$ 对输入变量进行固定的非线性变换，本文讨论的算法同样适用。我们先直接在原始输入空间 $x$ 中考虑分类问题，后续为了与其他内容保持一致，会切换到涉及基函数的符号表示。

2. 两类判别函数

2.1 线性判别函数的表示

最简单的线性判别函数表示为输入向量的线性函数：
[y(x) = w^T x + w_0]
其中，$w$ 称为权重向量，$w_0$ 是偏置（注意不要与统计意义上的偏差混淆），偏置的负值有时也称为阈值。如果 $y(x) \geq 0$，则输入向量 $x$ 被分配到类别 $C_1$；否则，分配到类别 $C_2$。相应的决策边界由 $y(x) = 0$ 定义，它对应于 $D$ 维输入空间中的一个 $(D - 1)$ 维超平面。

2.2 决策面的性质

• 方向 ：考虑两个位于决策面上的点