transformers基础组件pipeline

什么是pipeline

将数据预处理、模型调用、结果后处理三部分组装成的流水线

使我们能过直接输入文本便获得最终的答案

pipeline的创建和使用方式

from transformers import *
#根据文本任务直接创建pipeline，默认都是英文模型
pipe=pipeline("text-classification")
pipe("very good")
#制定任务类型，在指定模型，创建基于指定模型的pipeline
pipe=pipeline("text-classification",model="uer/roberta-base-finetuned-dianping-chinese")
pipe("我觉得不太行")
#预先加载模型，在创建pipeline
model=AutoModelForSequenceClassification.from_pretrained("uer/roberta-base-finetuned-dianping-chinese")
tokenizer=AutoTokenizer.from_pretrained("uer/roberta-base-finetuned-dianping-chinese")
pipe=pipeline("text-classification",model=model,tokenizer=tokenizer)
pipe("我觉得不太行")
#使用GPU
pipe=pipeline("text-classification",model="uer/roberta-base-finetuned-dianping-chinese",device=0)