23、深度学习中的高级分类器与多层感知器详解

深度学习中的高级分类器与多层感知器详解

1. 线性分类器与支持向量机的高级深度版本

1.1 无监督线性分类器

线性分类器通常作为监督学习算法用于分类和回归。而无监督版本的线性分类器可用于二元聚类，多个无监督线性分类器可用于多元聚类。

在二元聚类中，线性边界可表示为 $w_1x_1 + w_2x_2 + … + w_dx_d = c$。在监督线性分类器中，权重 $w_1, w_2, … , w_d$ 用于最小化目标输出和计算输出之间的误差；而在无监督版本中，权重根据输入向量之间的相似性进行优化。

权重优化过程如下：
1. 随机初始化权重。
2. 使用线性分类器将数据项分配到两个簇之一。
3. 计算两个簇的聚类指数。
4. 选择导致聚类指数下降的数据项。
5. 根据所选数据项更新权重，以最大化聚类指数。

对于多元聚类，每个无监督线性分类器的作用是判断每个数据项是否属于相应的簇，此过程类似于将监督线性分类器应用于多元分类。

1.2 堆叠线性分类器

堆叠线性分类器是线性分类器的深度版本，它结合了监督版本和无监督版本。

其深度架构如下：
输入向量是 $d$ 维向量，隐藏向量是 $d’$ 维向量。$d’$ 个无监督学习分类器用于计算隐藏向量，$M$ 个监督线性分类器用于将隐藏向量分类到 $M$ 个类别之一。

隐藏值的计算过程：
$d’$ 个无监督线性分类器参与计算隐藏值，它们通过不同的训练例子子集和不同的初始线性边界进行区分。数据项到线性边界的距离作为隐藏值，若数据项在线性边界上方，距离为正值，否