6、感知机：二元分类的线性模型

感知机：二元分类的线性模型

感知机概述

感知机是用于二元分类的线性分类模型。它的输入是实例的特征向量，输出是实例的类别，取值为 +1 和 -1。感知机对应于输入空间（特征空间）中能将实例划分为正类和负类的分离超平面，属于判别模型。感知机学习的目标是找到一个能线性划分训练数据的分离超平面。为了实现这一目标，引入了基于误分类的损失函数，并通过梯度下降法最小化该损失函数来得到感知机模型。感知机学习算法分为原始形式和对偶形式，具有简单易实现的优点。感知机预测则是使用学习得到的感知机模型对新的输入实例进行分类。感知机由 Rosenblatt 在 1957 年提出，是神经网络和支持向量机的基础。

感知机模型

• 定义 ：假设输入空间（特征空间）是 $\chi \subseteq \mathbf{R}^n$，输出空间是 $\mathcal{Y} = {+1, -1}$。输入 $x \in \mathcal{X}$ 表示实例的特征向量，对应于输入空间（特征空间）中的点；输出 $y \in \mathcal{Y}$ 表示实例的类别。从输入空间到输出空间的以下函数称为感知机：
  [f(x) = \text{sign}(w \cdot x + b)]
  其中，$w$ 和 $b$ 是感知机模型的参数，$w \subseteq \mathbf{R}^n$ 称为权重或权重向量，$b \in \mathbf{R}$ 称为偏置，$w \cdot x$ 表示 $w$ 和 $x$ 的内积，$\text{sign}$ 是符号函数，即
  [\text{sign}(x) = \begin{cases} +1, & x \geq 0 \ -1, &am