85、监督学习中的循环神经网络与支持向量机

监督学习中的循环神经网络与支持向量机

在机器学习的监督学习领域，有多种强大的工具和算法，其中循环神经网络（RNN）和支持向量机（SVM）是非常重要的两类。下面将详细介绍它们的原理、应用及相关示例。

1. 卷积与池化层及分类任务示例

在计算机视觉中，卷积层和最大池化层是常见的操作。最终的特征图会被展平，形成全连接层的输入，经过处理后，通过softmax输出函数得到概率最大的类别作为预测结果。

例如，CIFAR10数据集是计算机视觉中常用的数据集之一，它由60,000张32×32的彩色图像组成，分为10个类别。以CIFAR10数据集和Resnet18模型为例进行分类任务，测试数据集的分类误差会在每个训练周期展示。

2. 循环神经网络（RNN）

2.1 标准RNN

标准RNN有紧凑表示和展开表示（也称为香草RNN）。其隐藏状态$h(k)$的生成基于输入向量$x(k)$、前一个隐藏状态$h(k - 1)$和偏置向量$b_h$，计算公式如下：
$h(k) = f (h(k - 1),x(k),b_h) = \tanh(W_f h(k - 1) + W_i x(k) + b_h)$
其中，$x(k)$是生成$h(k)$的节点输入，$W_f$是反馈矩阵，$W_i$是输入矩阵，$b_h$是隐藏状态偏置向量。RNN的输出为：
$\hat{y}(k) = g (W_o h(k) + W_i x(k) + b_o) = \text{softmax}(W_o h(k) + W_i x(k) + b_o) = \sigma (W_o h(k) + W_i x(k) + b_o)$

通用成本