85、监督学习中的循环神经网络与支持向量机

监督学习中的循环神经网络与支持向量机

1. 监督学习基础

在监督学习中，卷积层和最大池化层处理后的最终特征图会被展平，作为全连接层的输入，经过处理后通过 softmax 输出函数得到每个类别的概率，概率最大的类别即为预测类别。

计算机视觉领域有很多流行的数据集，CIFAR10 数据集便是其中之一。它由 60,000 张 32×32 的彩色图像组成，这些图像被标记为 10 个类别。以 CIFAR10 为数据集、Resnet18 为模型进行分类任务时，每个训练周期的测试数据集分类误差如图所示。

2. 循环神经网络（RNN）

2.1 标准 RNN

标准 RNN 网络有紧凑表示和展开表示（也称为 vanilla RNN）。其隐藏状态 h(k) 根据输入向量 x(k)、前一隐藏状态 h(k - 1) 和偏置向量 bh 生成，公式如下：
[h(k) = f (h(k - 1), x(k), b_h) = \tanh(W_f h(k - 1) + W_i x(k) + b_h)]
其中，x(k) 是生成 h(k) 的输入，Wf 是反馈矩阵，Wi 是输入矩阵，bh 是隐藏状态偏置向量。RNN 的输出为：
[\hat{y}(k) = g (W_o h(k) + W_i x(k) + b_o) = \text{softmax}(W_o h(k) + W_i x(k) + b_o) = \sigma (W_o h(k) + W_i x(k) + b_o)]

通用成本函数为：
[\bar{J}(\bar{y}, y) = \sum_{k = 1}^{K} J(\hat{y}(k), y(k))]