Character-Level Language Modeling with Deeper Self-Attention

链接

• 论文链接：https://arxiv.org/pdf/1808.04444v2.pdf
• 项目链接：https://github.com/nadavbh12/Character

一、前言

• 论文中展示了一个具有固定上下文长度的比较深的transformer模型(64-layer),该模型大大优于各种RNN模型的变体，并且在两个流行的基准测试中达到了最优水平。
• 在实验中发现在中间网络层和中间序列位置中添加辅助损失是很重要的。
• 关于transformer模型可以参考：https://blog.youkuaiyun.com/ACM_hades/article/details/88898313

二、Character Transformer Model

1、模型概述

• 语言模型通常用条件概率分布进行表示：$$Pr(t_{0:L})=P(t_0$$