【限时免费】生产力升级：将bge-reranker-base-onnx-o3-cpu模型封装为可随时调用的API服务...-优快云博客

生产力升级：将bge-reranker-base-onnx-o3-cpu模型封装为可随时调用的API服务

【免费下载链接】bge-reranker-base-onnx-o3-cpu 项目地址: https://gitcode.com/mirrors/EmbeddedLLM/bge-reranker-base-onnx-o3-cpu

引言：为什么要将模型API化？

在现代软件开发中，将本地模型封装成API服务已经成为一种常见的实践。这种做法的好处显而易见：

解耦：将模型逻辑与前端或其他服务解耦，使得模型可以独立更新和维护，而不影响调用方。
复用：通过API，模型可以被多个不同的应用（如网站、App、小程序）调用，提高代码的复用性。
跨语言调用：API服务通常基于HTTP协议，可以被任何支持HTTP的语言调用，解决了多语言环境下的协作问题。
简化部署：模型API化后，可以集中部署在服务器上，客户端只需发送请求即可获取结果，无需关心模型的具体实现。

本文将指导开发者如何将开源模型bge-reranker-base-onnx-o3-cpu封装成一个标准的RESTful API服务，使其能够被随时调用。

技术栈选择

为了实现这一目标，我们推荐使用FastAPI作为Web框架。选择FastAPI的原因如下：

高性能：FastAPI基于Starlette和Pydantic，性能接近Node.js和Go。
自带文档：FastAPI自动生成Swagger和ReDoc文档，方便开发者调试和测试API。
易于使用：FastAPI的语法简洁，学习成本低，适合快速开发。

核心代码：模型加载与推理函数

首先，我们需要将模型加载和推理逻辑封装成一个独立的Python函数。以下是基于官方“快速上手”代码片段的实现：

from itertools import product
from typing import List, Tuple

import torch.nn.functional as F
from optimum.onnxruntime import ORTModelForSequenceClassification
from transformers import AutoTokenizer

def load_model_and_tokenizer():
    model_name = "EmbeddedLLM/bge-reranker-base-onnx-o3-cpu"
    device = "cpu"
    provider = "CPUExecutionProvider"
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    model = ORTModelForSequenceClassification.from_pretrained(
        model_name, use_io_binding=True, provider=provider, device_map=device
    )
    return model, tokenizer

def rerank_texts(queries: List[str], sentences: List[str]) -> List[Tuple[Tuple[str, str], float]]:
    model, tokenizer = load_model_and_tokenizer()
    pairs = list(product(queries, sentences))
    inputs = tokenizer(
        pairs,
        padding=True,
        truncation=True,
        return_tensors="pt",
        max_length=model.config.max_position_embeddings,
    )
    inputs = inputs.to("cpu")
    scores = model(**inputs).logits.view(-1).cpu().numpy()
    ranked_pairs = sorted(zip(pairs, scores), key=lambda x: x[1], reverse=True)
    return ranked_pairs

API接口设计与实现

接下来，我们使用FastAPI设计一个接收POST请求的API接口。该接口将接收输入的文本（查询和句子列表），并返回模型的排序结果。

from fastapi import FastAPI
from pydantic import BaseModel
from typing import List, Tuple

app = FastAPI()

class RerankRequest(BaseModel):
    queries: List[str]
    sentences: List[str]

@app.post("/rerank")
async def rerank(request: RerankRequest):
    ranked_pairs = rerank_texts(request.queries, request.sentences)
    return {"results": ranked_pairs}

完整服务端代码

将以上两部分代码合并，完整的服务端代码如下：

from fastapi import FastAPI
from pydantic import BaseModel
from typing import List, Tuple
from itertools import product

import torch.nn.functional as F
from optimum.onnxruntime import ORTModelForSequenceClassification
from transformers import AutoTokenizer

app = FastAPI()

def load_model_and_tokenizer():
    model_name = "EmbeddedLLM/bge-reranker-base-onnx-o3-cpu"
    device = "cpu"
    provider = "CPUExecutionProvider"
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    model = ORTModelForSequenceClassification.from_pretrained(
        model_name, use_io_binding=True, provider=provider, device_map=device
    )
    return model, tokenizer

def rerank_texts(queries: List[str], sentences: List[str]) -> List[Tuple[Tuple[str, str], float]]:
    model, tokenizer = load_model_and_tokenizer()
    pairs = list(product(queries, sentences))
    inputs = tokenizer(
        pairs,
        padding=True,
        truncation=True,
        return_tensors="pt",
        max_length=model.config.max_position_embeddings,
    )
    inputs = inputs.to("cpu")
    scores = model(**inputs).logits.view(-1).cpu().numpy()
    ranked_pairs = sorted(zip(pairs, scores), key=lambda x: x[1], reverse=True)
    return ranked_pairs

class RerankRequest(BaseModel):
    queries: List[str]
    sentences: List[str]

@app.post("/rerank")
async def rerank(request: RerankRequest):
    ranked_pairs = rerank_texts(request.queries, request.sentences)
    return {"results": ranked_pairs}

测试API服务

启动FastAPI服务后，可以使用以下方法测试API是否正常工作。

使用curl测试

curl -X POST "http://127.0.0.1:8000/rerank" \
-H "Content-Type: application/json" \
-d '{"queries": ["What is a llama?", "What is a harimau?"], "sentences": ["The llama is a domesticated South American camelid.", "The alpaca is a species of South American camelid mammal."]}'

使用Python的requests库测试

import requests

url = "http://127.0.0.1:8000/rerank"
data = {
    "queries": ["What is a llama?", "What is a harimau?"],
    "sentences": ["The llama is a domesticated South American camelid.", "The alpaca is a species of South American camelid mammal."]
}
response = requests.post(url, json=data)
print(response.json())

部署与性能优化考量

部署方案

Gunicorn：对于生产环境，可以使用Gunicorn作为WSGI服务器，提高并发处理能力。
```
gunicorn -w 4 -k uvicorn.workers.UvicornWorker main:app
```
Docker：将服务容器化，便于跨环境部署和管理。

性能优化

批量推理（Batching）：如果输入数据量大，可以优化模型推理逻辑，支持批量处理。
缓存：对于重复的查询结果，可以引入缓存机制，减少模型调用次数。

通过以上步骤，开发者可以轻松地将bge-reranker-base-onnx-o3-cpu模型封装为一个高效的API服务，供其他应用随时调用。