19、循环神经网络与卷积神经网络在不同任务中的应用

循环神经网络与卷积神经网络在不同任务中的应用

1. 循环神经网络中的 LSTM 与 GRU

LSTM（长短期记忆网络）在迭代次数较少的情况下就能很好地收敛，并产生较高的分类准确率。不过，为了进一步提升准确率，我们可以调整 LSTM 的超参数。以下是一些可尝试调整的超参数：

// Hyper parameters for the LSTM training
val learningRate = 0.001f
val trainingIters = trainingDataCount * 1000 // Loop 1000 times on the dataset
val batchSize = 1500 // I would set it 5000 and see the performance
val displayIter = 15000 // To show test set accuracy during training
val numLstmLayer = 3 // 5, 7, 9 etc.

除了标准的 LSTM 单元，还有许多变体，其中比较流行的是门控循环单元（GRU）。GRU 可以看作是 LSTM 的简化版本，它将单元状态和隐藏状态合并为一个向量 h(t)，并通过一个单一的门控控制器来控制遗忘门和输入门。具体来说，如果门控控制器输出为 1，则输入门打开，遗忘门关闭；反之，如果输出为 0，则情况相反。

以下是 GRU 单元的一些特点：
- 存储记忆时，会先清除存储位置。
- 由于每个时间步都会输出完整的状态向量，因此没有输出门。
- 引入了一