Dong Hsueh

Transformer 学习笔记本部分来源于论文 《Attention Is All You Need》0 摘要提出了一种新的模型 Transformer ，完全基于注意力机制，彻底省去了卷积和递归。在两个机器翻译的任务上证明了该模型质量上更优同时由于并行化更好导致所需的训练时间更少。可以很好的应用到其他的任务上。1 介绍RNN由于其固有的训练顺序导致很难并行化训练。大部...

BERT 学习笔记本部分来源于论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》 (arXiv: 1810.04805)0 摘要语言表示模型 —— BERT：Bidirectional Encoder Representations from Transformers（来...

学习笔记本部分来源于论文《Generative Adversarial Nets》（arXiv:1406.2661）。介绍到目前为止，深度学习中那些最显著的成功所涉及到的判别模型（discriminative model），通常是将那些高维的、丰富感知(rich sensory)输入映射到分类标签中。这些成功通常是基于反向传播和dropout算法，采用那些具有良好梯度的分段线性单元。但是...

BERT 源码初探之 run-pretraining.py本文源码来源于 Github上的BERT 项目中的 run_pretraining.py 文件。阅读本文需要对Attention Is All You Need以及BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding两篇论文有所了...

BERT 源码初探之 run_classifier.py本文源码来源于 Github上的BERT 项目中的 run_classifier.py 文件。阅读本文需要对Attention Is All You Need以及BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding两篇论文有所了解，...

BERT 源码初探之 create_pretraining_data.py本文源码来源于 Github上的BERT 项目中的 run_pretraining.py 文件。阅读本文需要对Attention Is All You Need以及BERT: Pre-training of Deep Bidirectional Transformers for Language Understandin...