BERT是一种基于Transformer的预训练深度双向编码语言理解模型，通过Masked LM和NSP任务进行预训练。它克服了ELMo和GPT的局限，允许模型在每个层中充分利用上下文信息。在微调到下游任务时，只需添加输出层，无需改变模型结构，且在多个NLP任务中表现出SOTA性能。预训练与微调的不一致性和mask token的独立假设是BERT的主要缺点。
NLP系列模型解析：
Transformer：https://blog.youkuaiyun.com/lppfwl/article/details/121084602
GPT系列：https://blog.youkuaiyun.com/lppfwl/article/details/121010275
BERT：https://blog.youkuaiyun.com/lppfwl/article/details/121124617
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
2019年goole AI发表的文章，附上原文：https://paperswithcode.com/method/bert
pytorch版本代码：https://github.com/huggingface/transformers/tree/master/src/transformers/models/bert
BERT名字由来: Bidirectional Encoder Representations from Transform
最低0.47元/天 解锁文章
扫一扫
1005
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
