23、深度线性分类器与支持向量机的高级版本及多层感知器介绍

深度线性分类器与支持向量机的高级版本及多层感知器介绍

1. 线性分类器与支持向量机的高级深度版本

1.1 无监督线性分类器

线性分类器通常作为监督学习算法用于分类和回归。其无监督版本可用于聚类任务。
- 单一线性分类器用于二元聚类 ：单一线性分类器可将一组数据划分为两个子组。在二维空间中，将数据以二维向量形式绘制，寻找划分两个聚类的线性边界，该边界在 d 维空间中表示为线性方程 (w_1x_1 + w_2x_2 + \cdots + w_dx_d = c)。在监督线性分类器中，权重 (w_1, w_2, \cdots, w_d) 用于最小化目标输出和计算输出之间的误差；而在无监督版本中，权重根据输入向量之间的相似性进行优化。
- 权重优化步骤 ：
1. 随机初始化权重。
2. 使用线性分类器将数据项分配到两个聚类之一。
3. 计算两个聚类的聚类指数。
4. 选择导致聚类指数下降的数据项。
5. 根据所选数据项更新权重，以最大化聚类指数。
- 多个线性分类器用于多元聚类 ：多个线性分类器可用于多元聚类，每个分类器对应一个聚类，其作用是判断每个数据项是否属于相应的聚类。这一过程类似于将监督线性分类器应用于多元分类。

1.2 堆叠线性分类器

堆叠线性分类器是线性分类器的深度版本，它结合了监督版本和无监督版本。
- 架构 ：假设输入向量是 d 维向量，隐藏向量是 (d’) 维向量。计算隐藏向量需要 (d’) 个无监督学习分