Transformer 课程笔记

Transformer 课程笔记

【Transformer为什么比CNN好！】带你从零详细解读Transformer模型 绝对通俗易懂！人工智能/机器学习/计算机视觉/深度学习哔哩哔哩bilibili

第一章 Transformer背景介绍

1.1

2018年10月，Google发出一篇论文《BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding》，BERT模型横空出世,并横扫NLP领域11项任务的最佳成绩!

论文地址: https://arxiv.org/pdf/1810.04805.pdf

而在BERT中发挥重要作用的结构就是Transformer,之后又相继出现XLNET，roBERT等模型击败了BERT，但是他们的核心没有变，仍然是:Transformer.

1.2优势

相比之前占领市场的LSTM和GRU模型，Transformer有两个显教的优势:

1, Transformer能够利用分布式GPU进行并行训练，提升模型训练效率.

2，在分析预测更长的文本时，捕捉间隔较长的语义关联效果更好.

1.2 Transformer架构解读.

Transformer模型的作用:

·基于seq2seq架构的transformer模型可以完成NLP领域研究的典型任务,如机器翻译,文本生成等.同时又可以构建预训练语言模型，用于不同任务的迁移学习.

·在接下来的架构分析中,我们将假设使用Transformer模型架构处理从一种语言文本到另一种语言文本的翻译工作,因此很多命名方式遵循NLP中的规则.比如: Embeddding层将称作文本嵌入层, Embedding层产生的张量称为词嵌入张量,它的最后一维将称作词向量等.

Transformer总体架构图：