17、浅层神经网络中的机器学习与自编码器应用

浅层神经网络中的机器学习与自编码器应用

1 梯度与概率的关联及分类器更新

在机器学习中，我们通过概率间接表达梯度，这样做既简洁又有助于直观理解梯度与不同类型错误概率之间的关系。对于具有标签 $c(i)$ 的实例，$[1 - P(r|X_i)]$ 和 $P(r|X_i)$ 分别表示关于第 $r$ 类预测时犯错的概率。第 $r$ 类的分隔器更新规则如下：
[
W_r \Leftarrow W_r + \alpha
\begin{cases}
X_i^T (1 - P(r|X_i)) & \text{if } r = c(i) \
-X_i^T P(r|X_i) & \text{if } r \neq c(i)
\end{cases}
]
其中，$\alpha$ 是学习率。与多类感知器和 Weston - Watkins SVM 不同，Softmax 分类器会为每个训练实例更新所有 $k$ 个分隔器，而后两者每个训练实例仅更新一小部分分隔器（或不更新），这是概率建模的结果，在概率建模中，正确性的概念并非绝对。

2 自编码器的无监督学习

2.1 自编码器基础

自编码器是用于各种无监督学习应用的基本架构。具有线性层的最简单自编码器对应于如奇异值分解等著名的降维技术，而具有非线性的深度自编码器则对应于传统机器学习中可能不存在的复杂模型。其主要目标有两个：
- 像奇异值分解这样的经典降维方法是浅层神经网络架构的特殊情况。
- 通过在基本架构中增加深度和非线性，可以生成复杂的非线性数据嵌入。传统机器学习中的非线性嵌入受限于能以紧凑闭式表达的损失函数，而深