BERT算法

最新推荐文章于 2025-02-05 08:00:00 发布

原创最新推荐文章于 2025-02-05 08:00:00 发布 · 649 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能

第一篇博客预览（2020.7.14）

BERT是Bidirectional Encoder Representations from Transformers的缩写，是一种新型的语言模型，通过联合调节所有层中的双向Transformer来训练预训练深度双向表示。
它基于谷歌2017年发布的Transformer架构，通常的Transformer使用一组编码器和解码器网络，而BERT只需要一个额外的输出层，对预训练进行fine-tune，就可以满足各种任务，根本没有必要针对特定任务对模型进行修改。
BERT将多个Transformer编码器堆叠在一起。Transformer基于著名的多头注意力（Multi-head Attention）模块，该模块在视觉和语言任务方面都取得了巨大成功。
BERT的先进性基于两点：首先，使用Masked Langauge Model（MLM）和Next Sentense Prediction（NSP）的新预训练任务；其次，大量数据和计算能力满足BERT的训练强度。