自然语言处理(三 RNNLM优化)

最新推荐文章于 2024-12-08 13:29:40 发布

zchenack

最新推荐文章于 2024-12-08 13:29:40 发布

阅读量1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：自然语言处理文章标签：自然语言处理

本文链接：https://blog.youkuaiyun.com/hustchenze/article/details/78689971

自然语言处理专栏收录该内容

9 篇文章

订阅专栏

本文探讨了如何通过数据预处理、模型结构改进、输入数据调整及正则化等方式提升RNNLM（循环神经网络语言模型）的性能，具体包括使用droprate选择句子中的词语、引入CNN和NCE机制、采用subword级模型以及应用dropout等方法。

RNN LM性能改进

RNN LM性能改进

主要改进trick：输入数据预处理，改进模型结构，改变输入数据格式，正则化

数据预处理

（1）随机选取句子中的部分词语进行表示（使用drop rate选取句子中的词语）；
（2）bigram 内插、平滑等

模型结构改进

（1）SRNN->LSTM->GRU->minimal RNN
（2）LSTM前添加CNN，选取不同长度的filter函数能够抓取一些短语信息；
（3）NCE机制，能够加快Softmax层计算
（4）快速LM训练：HS, Negative Sampling,NCE
（5）若是训练word2vec，可以推荐facebook的fasttext工具。