qq_28616213的博客

 1.介绍语言建模是需要对长期依赖关系建模的重要问题之一，它具有成功的应用程序，如无监督的训练(Peters et al., 2018; Devlin et al.,2018)。然而，如何使神经网络具备在序列数据中建模长期依赖关系的能力，一直是一个挑战。递归神经网络(RNNs),尤其是LSTM(Hochreiter & Schmidhuber, 1997),已经成为语言建模的标准解...