45、线性分类模型：原理与应用

线性分类模型：原理与应用

1. 分类问题概述

分类问题的目标是将输入向量 $x$ 分配到 $K$ 个离散类别 $C_k$ 中的某一个，其中 $k = 1, \cdots, K$。在常见情况下，这些类别是不相交的，即每个输入只能被分配到一个类别。输入空间因此被划分为决策区域，其边界被称为决策边界或决策面。

2. 线性分类模型的定义

线性分类模型指的是决策面是输入向量 $x$ 的线性函数，在 $D$ 维输入空间中由 $(D - 1)$ 维超平面定义。如果数据集的类别可以通过线性决策面完全分离，则称该数据集是线性可分的。

3. 目标变量的表示方法

在分类问题中，有多种使用目标值来表示类别标签的方法：
- 概率模型 - 二分类问题 ：对于二分类问题，最方便的是使用二进制表示，即有一个单一的目标变量 $t \in {0, 1}$，其中 $t = 1$ 表示类别 $C_1$，$t = 0$ 表示类别 $C_2$。我们可以将 $t$ 的值解释为类别为 $C_1$ 的概率，概率值仅取 0 和 1 这两个极端值。
- 概率模型 - 多分类问题（$K > 2$） ：对于 $K > 2$ 个类别的情况，使用 1 - of - $K$ 编码方案较为方便。其中 $t$ 是一个长度为 $K$ 的向量，如果类别是 $C_j$，则 $t$ 的所有元素 $t_k$ 都为 0，除了元素 $t_j$ 取值为 1。例如，当 $K = 5$ 个类别时，来自类别 2 的模式的目标向量为 $t = (0, 1, 0, 0, 0)^T$。同样，我们可以将 $t_k$ 的值解