NLP预训练模型加载工具：Huggingface Transformers

NLP对应的算法包括：

1. 分词
2. 词向量
3. 句子向量
4. 命名实体识别
5. 意图识别

 预训练的模型内容查看：Models - Hugging Face

transformers工具的简单说明：

Transformers（以往称为 pytorch-transformers 和 pytorch-pretrained-bert）是用于
TensorFlow 2.0 和 PyTorch 的自然语言处理框架。它提供了用于自然语言理解（NLU，Natural Language
Understanding）和自然语言生成（NLG，Natural Language Generation）的最先进的通用架构，包括
BERT、GPT-2、RoBERTa、XLM、DistilBert 与 XLNet 等，具有超过 100 种语言的 32 种以上经过预训练的模型，以及
TensorFlow 2.0 和 PyTorch 之间的深度互操作性。

特性：

• 与 pytorch-transformers 一样易用
• 像 Keras 一样强大与简洁
• 处理 NLU 和 NLG 任务时性能高
• 教育者和从业者的进入门槛低
• 低计算成本，研究人员可以共享训练模型，不必再训练，内置 8 种架构，包含 30 多种预训练的模型，其中一些采用 100 多种语言
• 3 行代码即可训练最先进的模型
• TensorFlow 2.0 和 PyTorch 模型之间的深层互操作性，可以随意在两个框架之间移动单个模型

学习开发文档参考：🤗 Transformers

著名网络博主：huggingface-Transformer学习笔记1 - 知乎

 masked 多头注意力层：MultiHead-Attention和Masked-Attention的机制和原理_masked multi-head attention-优快云博客

Huggingface Transformers库学习笔记（一）：入门（Get started）_u011426236的博客-优快云博客_huggingface transformers入门