零基础学nlp【7】 BERT ，transformer应用，预训练模型

最新推荐文章于 2025-07-04 11:30:40 发布

原创

最新推荐文章于 2025-07-04 11:30:40 发布 · 置顶 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#BERT #nlp #seq2seq

本文介绍了BERT论文，这是一种使用预训练和fine-tuning方法的深度双向Transformer模型，旨在提升语言理解。BERT通过Masked Language Modeling和Next Sentence Prediction任务进行预训练，然后在特定任务上进行微调，展现出优秀的性能。文章详细阐述了模型结构、输入处理和预训练细节。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

零基础学nlp【7】 BERT

论文：Devlin J, Chang M W, Lee K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding[J]. arXiv preprint arXiv:1810.04805, 2018.

1 前言

本来今天准备写 convolutional sequence to sequence 这一篇论文的，但是下午看了两个小时完全没有看懂，然后顺便看了看这篇很新的BERT论文，发现里面使用的就是上一篇文章提到的self-attention模型，于是决定趁热打铁，先看这一篇，有关cnn seq2seq的下次有需要再看吧。。。。。