BERT 学习笔记一（参考资料）

搜集网上的一些相关的参考资料留做参考学习

1. 谷歌公布源码下载： https://pan.baidu.com/s/13w82XrsLjqVWtapg0rh3ZQ
   提取码：vsix
2. 中文预训练模型 ：https://pan.baidu.com/s/1pT9zzviEdE0o82alBLpBYw
   提取码： r75g

文献

1. 官方paper（结合解读细看）：
   https://arxiv.org/abs/1810.04805
2. 官方的Github地址（公布了源码）：
   https://github.com/google-research/bert
3. Google官方推荐的PyTorch BERB版本实现，可加载Google预训练的模型：PyTorch version of Google AI’s BERT model with script to load Google’s pre-trained models
   https://github.com/huggingface/pytorch-pretrained-BERT

知识储备

• Transformer理解：BERT大火却不懂Transformer？读这一篇就够了
  https://mp.weixin.qq.com/s__biz=MjM5MTQzNzU2NA==&mid=2651666707&idx=1&sn=2e9149ccdba746eaec687038ce560349&chksm=bd4c1e808a3b97968a15cb3d21032b5394461a1be275476e4fd26563aa28d99be0b798ccee17&mpshare=1&scene=23&srcid=0111K189Hsmfj12RTf5EgbLx#rd

• Transformer
  https://www.jianshu.com/p/49cfafa189fd

• 【NLP】Transformer详解
  https://zhuanlan.zhihu.com/p/44121378

• 【NLP】Attention原理和源码解析
  https://zhuanlan.zhihu.com/p/43493999

• 【NLP】语言模型和迁移学习
  https://zhuanlan.zhihu.com/p/42618178

• 《attention is all you need》解读
  知乎：https://zhuanlan.zhihu.com/p/34781297

• 从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史–张俊林博士解读
  知乎：https://zhuanlan.zhihu.com/p/49271699

• 图解BERT，ELMo以及如何将其应用于迁移学习
  https://blog.youkuaiyun.com/qq_41664845/article/details/84787969

第三方解读

• [NLP自然语言处理]谷歌BERT模型深度解析
  https://blog.youkuaiyun.com/qq_39521554/article/details/83062188

• NLP突破性成果 BERT 模型详细解读
  https://zhuanlan.zhihu.com/p/46997268

• 知乎话题（如何评价BERT模型）
  https://www.zhihu.com/question/298203515

• 【NLP】Google BERT详解
  https://zhuanlan.zhihu.com/p/46652512

实战参考

• 感情细粒度分析（多标签文本分类）数据集 AI Challenger（详细参考https://challenger.ai/）
  https://github.com/brightmart/sentiment_analysis_fine_grain

• 如何使用BERT实现中文的文本分类（pytorch)
  https://blog.youkuaiyun.com/Real_Brilliant/article/details/84880528

• 干货 | BERT fine-tune 终极实践教程（奇点机智）
  https://www.jianshu.com/p/aa2eff7ec5c1

• BERT+BiLSTM-CRF-NER用于做ner识别
  https://blog.youkuaiyun.com/luoyexuge/article/details/84728649

• BERT模型fine-tuning代码解析（一）
  https://blog.youkuaiyun.com/u014108004/article/details/84142035

• 小数据福音！BERT在极小数据下带来显著提升的开源实现
  https://blog.youkuaiyun.com/c9Yv2cf9I06K2A9E/article/details/84576841

整理参考：http://www.52nlp.cn/bert-paper-论文-文章-代码资源汇总