40、探索Transformer、BERT和GPT的奥秘

探索Transformer、BERT和GPT的奥秘

1. 词嵌入与基于注意力机制的复杂度

在自然语言处理中，词嵌入是一个重要的概念。词嵌入涉及到剩余的 (n - 1) 个词，基于注意力的机制的复杂度为 O(N^2)，其中 N 是语料库中唯一标记的数量。编码器的实际输入向量被称为上下文向量，这与 word2vec 不同，word2vec 为每个单词构建一个单一的词嵌入，而不考虑该单词在不同句子中的上下文是否不同。

2. HuggingFace的Transformers库

HuggingFace 创建了一个 transformers 库和一个开源存储库，用于开发基于变压器架构的模型，你可以在 这里 访问。该库为自然语言理解 (NLU) 和自然语言生成 (NLG) 提供了预训练模型。实际上，HuggingFace 为 100 多种语言提供了 30 多个预训练模型，并且支持 TensorFlow 2 和 PyTorch 之间的互操作性。此外，HuggingFace 不仅支持与 BERT 相关的模型，还支持 GPT - 2/GPT - 3、XLNet 等。

以下是 HuggingFace 提供的一些模型列表：
| 模型名称 | 来源 |
| ---- | ---- |
| BART | Facebook |
| BERT | Google |
| Blenderbot | Facebook |
| CamemBERT | Inria/Facebook/Sorbonne |
| C