zize_snail的博客

1. word2vector文章推荐 原论文： http://www.eecs.wsu.edu/~sji/classes/DL16/CNN-text/word2vec2.pdf 推荐： CBOW和skip-gram http://www.cnblogs.com/pinard/p/7160330.html 基于Hierarchical Softmax的模型 http://www.cnb...

** word2vec的层次softmax和负采样方式 ** 推荐网址:https://www.cnblogs.com/peghoty/p/3857839.html

1、正则化：L1和L2 2、数据集增强 3、提前终止 4、dropout 5、集成学习 具体解释推荐网址：https://blog.youkuaiyun.com/u010899985/article/details/79471909

GPT，ELMo，和BERT关联，理解 文章推荐： 网页链接 https://zhuanlan.zhihu.com/p/49271699 BERT用transformer方法取代了ELMo中用LSTM提取特征的方法 BERT解决了GPT中单向语言模型的方法，变为双向。 BERT采用了Fine tuning方式 ...

参考网址 https://www.douban.com/note/518998773/