transformers基础组件pipeline

原创已于 2024-06-11 21:06:29 修改 · 326 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#学习

于 2024-01-19 15:20:55 首次发布

本文介绍了如何使用Transformer库中的pipeline将数据预处理、模型调用和结果后处理整合，以进行文本分类任务。包括直接创建pipeline、指定模型、预加载模型以及利用GPU加速。

什么是pipeline

将数据预处理、模型调用、结果后处理三部分组装成的流水线

使我们能过直接输入文本便获得最终的答案

pipeline的创建和使用方式

from transformers import *
#根据文本任务直接创建pipeline，默认都是英文模型
pipe=pipeline("text-classification")
pipe("very good")
#制定任务类型，在指定模型，创建基于指定模型的pipeline
pipe=pipeline("text-classification",model="uer/roberta-base-finetuned-dianping-chinese")
pipe("我觉得不太行")
#预先加载模型，在创建pipeline
model=AutoModelForSequenceClassification.from_pretrained("uer/roberta-base-finetuned-dianping-chinese")
tokenizer=AutoTokenizer.from_pretrained("uer/roberta-base-finetuned-dianping-chinese")
pipe=pipeline("text-classification",model=model,tokenizer=tokenizer)
pipe("我觉得不太行")
#使用GPU
pipe=pipeline("text-classification",model="uer/roberta-base-finetuned-dianping-chinese",device=0)