zize_snail的博客

1. word2vector文章推荐原论文： http://www.eecs.wsu.edu/~sji/classes/DL16/CNN-text/word2vec2.pdf 推荐： CBOW和skip-gram http://www.cnblogs.com/pinard/p/7160330.html 基于Hierarchical Softmax的模型 http://www.cnb...

**word2vec的层次softmax和负采样方式** 推荐网址:https://www.cnblogs.com/peghoty/p/3857839.html

1、正则化：L1和L2 2、数据集增强 3、提前终止 4、dropout 5、集成学习具体解释推荐网址：https://blog.youkuaiyun.com/u010899985/article/details/79471909

GPT，ELMo，和BERT关联，理解文章推荐：网页链接https://zhuanlan.zhihu.com/p/49271699BERT用transformer方法取代了ELMo中用LSTM提取特征的方法BERT解决了GPT中单向语言模型的方法，变为双向。BERT采用了Fine tuning方式...

参考网址https://www.douban.com/note/518998773/