BERT是一种基于Transformer的预训练模型，用于理解和生成自然语言。在微调过程中，主要训练附加的分类器，而BERT模型本身改动较小。BERTBASE和BERTLARGE是两种不同规模的模型，分别提供不同的性能表现。输入是通过SelfAttention和前馈神经网络处理的单词序列，输出是每个位置的隐藏状态向量，尤其关注第一个位置的输出，用于句子分类任务。
图解BERT
BERT是一个经典的利用transformer的模型。使用 BERT 最直接的方法就是对一个句子进行分类。模型如下：
为了训练这样一个模型，你主要需要训练分类器（上图中的 Classifier），在训练过程中 几乎不用改动BERT模型。这个训练过程称为微调。
模型架构
- BERT BASE: 与OpenAI的transformer大小相当，以便比较性能。
- BERT LARGE: 一个巨大的模型，它取得了最先进的结果。、
- 输入：就像 Transformer 中普通的 Encoder 一样，BERT 将一串单词作为输入，这些单词在 Encoder 的栈中不断向上流动。每一层都会经过 Self Attention 层，并通过一个前馈神经网络，然后将结果传给下一个 Encoder。
- 输出：每个位置输出一个大小为 hidden_size（在 BERT Base 中是 768）的向量。对于上面提到的句子分类的例子，我们只关注第一个位置的输出。
Reference
https://github.com/datawhalechina/Learn-NLP-with-Transformers
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
