Datawhale NLP课程 Task4

最新推荐文章于 2025-08-19 00:41:23 发布

原创

最新推荐文章于 2025-08-19 00:41:23 发布 · 215 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#自然语言处理 #深度学习 #机器学习

BERT（Bidirectional Encoder Representations from Transformers）是一种预训练语言模型，由MLM（Masked Language Model）和NSP（Next Sentence Prediction）任务进行训练。MLM通过上下文预测被遮罩的单词，提升模型理解力；NSP则训练模型理解句子间关系。BERT可用于句子分类、多项选择、序列标注和问答等任务。在预训练和微调阶段，采用AdamW优化器和warmup策略防止过早收敛。

BERT-based Models应用模型

BertForPreTraining

BERT 预训练任务包括两个:

Masked Language Model（MLM）：在句子中随机用[MASK]替换一部分单词，然后将句子传入 BERT 中编码每一个单词的信息，最终用[MASK]的编码信息预测该位置的正确单词，这一任务旨在训练模型根据上下文理解单词的意思；
Next Sentence Prediction（NSP）：将句子对 A 和 B 输入 BERT，使用[CLS]的编码信息进行预测 B 是否 A 的下一句，这一任务旨在训练模型理解预测句子间的关系。