Datawhale NLP课程 Task2

最新推荐文章于 2025-08-19 00:41:23 发布

原创最新推荐文章于 2025-08-19 00:41:23 发布 · 129 阅读

0 ·

CC 4.0 BY-SA版权

机器学习专栏收录该内容

16 篇文章

订阅专栏

BERT是一种基于Transformer的预训练模型，用于理解和生成自然语言。在微调过程中，主要训练附加的分类器，而BERT模型本身改动较小。BERTBASE和BERTLARGE是两种不同规模的模型，分别提供不同的性能表现。输入是通过SelfAttention和前馈神经网络处理的单词序列，输出是每个位置的隐藏状态向量，尤其关注第一个位置的输出，用于句子分类任务。

图解BERT

BERT是一个经典的利用transformer的模型。使用 BERT 最直接的方法就是对一个句子进行分类。模型如下：
在这里插入图片描述
为了训练这样一个模型，你主要需要训练分类器（上图中的 Classifier），在训练过程中几乎不用改动BERT模型。这个训练过程称为微调。

模型架构

BERT BASE: 与OpenAI的transformer大小相当，以便比较性能。
BERT LARGE: 一个巨大的模型，它取得了最先进的结果。、
输入：就像 Transformer 中普通的 Encoder 一样，BERT 将一串单词作为输入，这些单词在 Encoder 的栈中不断向上流动。每一层都会经过 Self Attention 层，并通过一个前馈神经网络，然后将结果传给下一个 Encoder。
输出：每个位置输出一个大小为 hidden_size（在 BERT Base 中是 768）的向量。对于上面提到的句子分类的例子，我们只关注第一个位置的输出。