17、深入探索BERT家族与GPT-3模型

深入探索BERT家族与GPT-3模型

1. BERT相关技术

1.1 数据处理与语言检测

在数据收集过程中，会执行额外的任务，如句子去重，以及移除预测语言中高频词数量不足的句子。除了使用基于Transformer的模型，还会使用Compact Language Detector 3（CLD3）模型进行语言识别，它支持数十种语言，更多信息可查看 CLD3的GitHub仓库 。安装Python绑定可使用以下命令：

pip3 install gcld3

关于1000种语言翻译的更多信息可在 此处 获取，但数据和模型不可用。可以对比谷歌这一举措与Meta开源的支持200种语言的NLLB模型的进展。

1.2 多语言BERT（M - BERT）

由于BERT仅限于处理英文文本，因此需要使用多语言BERT（M - BERT）来处理其他语言的文本。M - BERT可以确定非英语单词的表示，它和BERT都通过MLM和NSP任务进行训练，但BERT使用维基百科文本和多伦多图书语料库训练，而M - BERT使用来自多种语言的维基百科文本训练。高资源语言（如英语）的维基百科文本量比低资源语言多。M - BERT不需要配对或语言对齐的训练数据，它的训练方式与BERT模型类似，能为下游任务生成跨多种语言通用的表示。预训练的开源M - BERT模型可从