谷歌BERT 学习

最新推荐文章于 2025-04-26 15:53:25 发布

原创

最新推荐文章于 2025-04-26 15:53:25 发布 · 760 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#nlp #bert #word representation

本文介绍了谷歌的BERT模型，这是一种深度双向预训练模型，应用于多个自然语言处理任务。BERT基于Transformer架构，通过Masked Language Model和Next Sentence Prediction任务进行预训练。在预训练后，模型可以通过Fine-tuning适应特定任务，如文本分类。文章还详细讲解了模型输入、预训练过程和实际使用步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近谷歌放了个大招，开源了他们最新的自然语言模型BERT，正好手头有个文本分类的任务，打算拿来用用，特此记录一下学习过程，如果错误，还望指正。
论文地址：https://arxiv.org/abs/1810.04805
开源github地址：https://github.com/google-research/bert

摘要

BERT(怎么读随便），其实是Bidirectional Encoder Representations from Transformers的缩写，属于深度双向预训练模型，在模型的所有层的表示都依赖于左右两个方向的上下文。这样设计的结果就是在大规模预料上预训练的BERT表示再加一层额外的输出层便可以应用到很多任务中，并可以得到很好的效果，据论文说该模型在11种自然语言处理任务中都取得了目前最好的效果。（不得不佩服这种概念简单但是实际效果屌炸的设计）