transformers库学习笔记(一):安装与测试

本文详细介绍如何使用Transformers库进行自然语言处理任务,包括情感分析、问题回答等,演示了模型安装、测试及自定义模型加载过程。

印象中觉得transformers是一个庞然大物,但实际接触后,却是极其友好,感谢huggingface大神。原文见tmylla.github.io

安装

我的版本号:python 3.6.9;pytorch 1.2.0;CUDA 10.0。

pip install transformers

pip之前确保安装pytorch1.1.0+。

测试

验证代码与结果

python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('I hate you'))"

在命令行输入如上命令后,transformers会自动下载依赖模型。输出以下结果,安装成果。

[{'label': 'NEGATIVE', 'score': 0.9991129040718079}]

transformer pipeline下载模型文件说明

transformers自动下载模型的保存位置:C:\Users\username\.cache\torch\,在模型下载以后,可以保存到其他位置。各文件的说明如下:

  1. json文件包含对应文件的‘url’和‘etag’标签。

  2. ‘a41…’为配置文件:distilbert-base-uncased-config。

  3. ‘26b…’为词典文件:bert-base-uncased-vocab。

  4. ‘437…’为finetuned-sst-2的配置文件:distilbert-base-uncased-finetuned-sst-2-english-config,注意其与‘a41…’文件的不同。

  5. ‘57d…’为Modelcard文件:distilbert-base-uncased-finetuned-sst-2-english-modelcard。

  6. <
评论 7
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值