印象中觉得transformers是一个庞然大物,但实际接触后,却是极其友好,感谢huggingface大神。原文见tmylla.github.io。
安装
我的版本号:python 3.6.9;pytorch 1.2.0;CUDA 10.0。
pip install transformers
pip之前确保安装pytorch1.1.0+。

测试
验证代码与结果
python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('I hate you'))"
在命令行输入如上命令后,transformers会自动下载依赖模型。输出以下结果,安装成果。
[{'label': 'NEGATIVE', 'score': 0.9991129040718079}]
transformer pipeline下载模型文件说明
transformers自动下载模型的保存位置:C:\Users\username\.cache\torch\,在模型下载以后,可以保存到其他位置。各文件的说明如下:

-
json文件包含对应文件的‘url’和‘etag’标签。

-
‘a41…’为配置文件:distilbert-base-uncased-config。

-
‘26b…’为词典文件:bert-base-uncased-vocab。

-
‘437…’为finetuned-sst-2的配置文件:distilbert-base-uncased-finetuned-sst-2-english-config,注意其与‘a41…’文件的不同。

-
‘57d…’为Modelcard文件:distilbert-base-uncased-finetuned-sst-2-english-modelcard。

- <

本文详细介绍如何使用Transformers库进行自然语言处理任务,包括情感分析、问题回答等,演示了模型安装、测试及自定义模型加载过程。
最低0.47元/天 解锁文章
414





