【nlp】4.4 Transformer库的使用（管道模式pipline、自动模式auto，具体模型BertModel）

本文链接：https://blog.youkuaiyun.com/lys_828/article/details/134631066

本文详细介绍了Huggingface的Transformers库，它提供了PyTorch和TensorFlow的支持，包含多种预训练模型如BERT。Transformers的应用分为管道模式、自动模式和具体模型方式，涵盖了文本分类、特征提取、完型填空、阅读理解、文本摘要和NER任务。通过实例展示了如何使用这些模式完成各种NLP任务。

Transformer库的使用

1 了解Transformers库
2 Transformers库三层应用结构
3 管道方式完成多种NLP任务
4 自动模型方式完成多种NLP任务
5 具体模型方式完成NLP任务
- 5.1 完型填空任务

1 了解Transformers库

Huggingface总部位于纽约，是一家专注于自然语言处理、人工智能和分布式系统的创业公司。他们所提供的聊天机器人技术一直颇受欢迎，但更出名的是他们在NLP开源社区上的贡献。Huggingface一直致力于自然语言处理NLP技术的平民化(democratize)，希望每个人都能用上最先进(SOTA, state-of-the-art)的NLP技术，而非困窘于训练资源的匮乏。同时Hugging Face专注于NLP技术，拥有大型的开源社区。尤其是在github上开源的自然语言处理，预训练模型库 Transformers，已被下载超过一百万次，github上超过24000个star。

Huggingface Transformers 是基于一个开源基于 transformer 模型结构提供的预训练语言库。它支持 Pytorch，Tensorflow2.0，并且支持两个框架的相互转换。Transformers 提供了NLP领域大量state-of-art的预训练语言模型结构的模型和调用框架。

框架支持了最新的各种NLP预训练语言模型，使用者可快速的进行模型调用，并且支持模型further pretraining 和下游任务fine-tuning。举个例子Transformers 库提供了很多SOTA的预训练模型，比如BERT, GPT-2, RoBERTa, XLM, DistilBert, XLNet, CTRL。

社区Transformers的访问地址为：