pipeline脚本踩坑日记

本文介绍了在不同环境下获取当前日期的方法,如在Windows中使用JavaScript的`newDate().format()`,以及处理Curl和Git中的SSL错误,通过设置环境变量解决gitsslerror问题。

获取当前日期

   之前一直是这样

BUILD_DATE = sh (script: 'date +%Y%m%d', returnStdout: true).trim()

  直到某天在 windows 环境运行,傻了 ^_^!

  通用的应该是这样

BUILD_DATE = new Date().format("yyyyMMdd")

curl ssl error

  请参考以下参数 

curl --ssl-no-revok
curl -k

git ssl error

  请参考以下设置

export GIT_SSL_NO_VERIFY=1
export GIT_CURL_VERBOSE=1

### Hugging Face Pipeline脚本示例与使用方法 Hugging Face 提供了多种预定义的 `Pipeline` 来简化自然语言处理 (NLP) 和计算机视觉任务的应用开发过程。这些管道可以轻松加载经过微调的模型并执行特定的任务,例如文本分类、命名实体识别、问答等。 以下是基于用户需求的一个典型例子——如何创建一个简单的 QA(Question Answering)Pipeline 并结合 FastAPI 部署: #### 安装依赖项 首先需要安装必要的 Python 库: ```bash pip install transformers datasets torch fastapi uvicorn ``` #### 创建 QA Pipeline 脚本 下面是一个完整的 QA Pipeline 实现及其部署代码: ```python from transformers import pipeline, AutoTokenizer, AutoModelForQuestionAnswering import torch # 加载预训练模型和分词器 model_name = "deepset/roberta-base-squad2" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForQuestionAnswering.from_pretrained(model_name) # 初始化 Question Answering Pipeline qa_pipeline = pipeline("question-answering", model=model, tokenizer=tokenizer) # 测试 Pipeline 功能 context = """The Transformers library is an open-source NLP library based on PyTorch and TensorFlow.""" question = "What is the Transformers library?" result = qa_pipeline({"question": question, "context": context}) print(f"Answer: {result['answer']}") # 输出答案部分[^1] # 如果希望进一步扩展功能,可考虑将此 Pipeline 结合 Haystack 使用以增强检索能力[^2] ``` #### 将 Pipeline 集成至 Web API 中 为了使该模型能够在生产环境中被访问,可以通过 FastAPI 构建 RESTful 接口来提供服务支持: ```python from fastapi import FastAPI from pydantic import BaseModel app = FastAPI() class QAPayload(BaseModel): question: str context: str @app.post("/predict/") def predict(payload: QAPayload): result = qa_pipeline({ "question": payload.question, "context": payload.context }) return {"answer": result["answer"]} if __name__ == "__main__": import uvicorn uvicorn.run(app, host="0.0.0.0", port=8000) ``` 启动服务器后,在浏览器或者 Postman 工具中发送 POST 请求即可获取预测结果。例如请求体如下所示: ```json { "question": "What is the Transformers library?", "context": "The Transformers library is an open-source NLP library based on PyTorch and TensorFlow." } ``` #### 关于 LLMs 如何本地化运行 如果计划在本地运行大型语言模型(LLMs),则需确保下载对应版本的所有必要组件文件,比如配置文件 (`config.json`)、权重文件 (`pytorch_model.bin`) 及其配套的分词器资源等[^4]。具体操作流程可以根据官方文档指导完成设置工作[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值