17、循环神经网络：原理、实现与优化

循环神经网络：原理、实现与优化

1. 训练与评估基础模型

在训练模型时，使用对数几率（logits）或概率进行训练通常没有太大区别。不过，有些损失函数在使用输出对数几率时会更稳定。而某些实现采用了优化策略，能始终利用稳定的路径，所以使用对数几率或概率进行训练只是个人偏好问题。

训练完成后，会得到类似如下的输出：
| Epoch | Batch | Accuracy | Loss |
| — | — | — | — |
| 0 | 350 | 0.5002229 | 0.6860522 |
| 1 | 350 | 0.6894144 | 0.6168785 |
| 2 | 350 | 0.7786677 | 0.5573396 |
| 3 | 350 | 0.8037750 | 0.5174768 |
| 4 | 350 | 0.8238515 | 0.4877387 |
| 5 | 350 | 0.8453078 | 0.4631703 |
| 6 | 350 | 0.8648504 | 0.4411991 |
| 7 | 350 | 0.8850605 | 0.4204423 |
| 8 | 350 | 0.9082086 | 0.4002065 |
| 9 | 350 | 0.9299769 | 0.3802384 |

总体而言，模型表现尚可，但难以达到超过 90% 的训练准确率。可以通过运行以下代码查看模型在测试集上的表现：

model
|> Axon.Loop.eva