Transformer模型总结

最新推荐文章于 2025-04-30 00:15:00 发布

neroyouqiang

最新推荐文章于 2025-04-30 00:15:00 发布

阅读量1.6k

点赞数 2

分类专栏： NLP

本文链接：https://blog.youkuaiyun.com/weixin_40131652/article/details/104128829

版权

本文总结了Transformer模型的重要发展，包括BERT、OpenAI GPT、Transformer XL、XLNet、RoBERTa、DistilBERT和ALBERT。这些模型在语言理解和预训练方面有所创新，例如BERT的双向Transformer、GPT的生成式模型、Transformer XL的长程依赖处理和ALBERT的参数减少策略。此外，还提及了DistilBERT和TinyBERT作为BERT的轻量化版本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Transformer模型总结

Transformer模型
- BERT
- OpenAI GPT
- Transformer XL
- XLNet
- RoBERTa
- DistilBERT
- ALBERT
- 其他模型
模型大小对比

Transformer模型

谷歌2017年文章《All you need is attention》提出Transformer模型，文章链接：
http://arxiv.org/abs/1706.03762
下面对几个基于Transformer的主要的模型进行简单总结。

BERT

来自文章《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》。
整个模型可以划分为embedding、transformer、output三部分。

embedding部分由word embedding、position embedding、token type embedding三个模型组成，三个embedding相加形成最终的embedding输入。
transformer部分使用的是标准的Transformer模型encorder部分。
output部分由具体的任务决定。对于token级别的任务，可以使用最后一层Transformer层的输出；对于sentence级别的任务，可以使用最后一层Transformer层的第一位输出，即[CLS]对应的输出。

文章链接：
https://arxiv.org/abs/1810.04805

OpenAI GPT

来自文章《Improving Language Understanding by Generative Pre-Training》和《Language Models are Unsupervised Multitask Learners》。
GPT为生成式模型。如果说BERT使用了Transformer模型中的encoder部分，那GPT就相当于使用了Transformer模型中的deconder部分。

文章链接：
GPT:
https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf
GPT-2:
https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf