生产力升级：将ERNIE-4.5-VL-28B-A3B-Paddle模型封装为可随时调用的API服务
项目地址: https://gitcode.com/paddlepaddle/ERNIE-4.5-VL-28B-A3B-Paddle 引言：为什么要将模型API化？
在AI模型的开发过程中，我们常常会遇到一个问题：如何让模型的能力更便捷地被其他应用（如网站、App、小程序）调用？将本地模型封装成RESTful API服务是一个高效的解决方案。这样做的好处包括：
- 解耦：将模型推理逻辑与前端或其他服务分离，便于独立开发和维护。
- 复用：通过API接口，模型可以被多个应用共享，避免重复开发。
- 跨语言调用：RESTful API支持多种编程语言调用，方便不同技术栈的应用集成。
- 性能优化：通过API服务，可以集中管理模型资源，优化推理性能。
本文将指导开发者如何将ERNIE-4.5-VL-28B-A3B-Paddle模型封装成一个标准的RESTful API服务。
技术栈选择
为了实现轻量级、高性能的API服务，我们推荐使用FastAPI框架。FastAPI是一个现代、快速（高性能）的Web框架，基于Python 3.7+，具有以下优势：
- 高性能：基于Starlette和Pydantic，性能接近Node.js和Go。
- 自动文档生成：内置Swagger UI和ReDoc，方便API调试和文档查看。
- 类型安全：支持Python类型提示，减少运行时错误。
- 异步支持：原生支持异步请求处理，适合高并发场景。
核心代码：模型加载与推理函数
首先，我们需要将ERNIE-4.5-VL-28B-A3B-Paddle模型的加载和推理逻辑封装成一个独立的Python函数。以下是基于transformers库的示例代码：
import torch
from transformers import AutoProcessor, AutoModelForCausalLM
def load_model():
"""加载ERNIE-4.5-VL-28B-A3B-Paddle模型"""
model_path = 'baidu/ERNIE-4.5-VL-28B-A3B-Paddle'
model = AutoModelForCausalLM.from_pretrained(
model_path,
device_map="auto",
torch_dtype=torch.bfloat16,
trust_remote_code=True
)
processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True)
processor.eval()
return model, processor
def infer(model, processor, messages, enable_thinking=False):
"""模型推理函数"""
text = processor.apply_chat_template(
messages, tokenize=False, add_generation_prompt=True, enable_thinking=enable_thinking
)
image_inputs, video_inputs = processor.process_vision_info(messages)
inputs = processor(
text=[text],
images=image_inputs,
videos=video_inputs,
padding=True,
return_tensors="pt",
)
device = next(model.parameters()).device
inputs = inputs.to(device)
generated_ids = model.generate(
inputs=inputs['input_ids'].to(device),
**inputs,
max_new_tokens=128
)
output_text = processor.decode(generated_ids[0])
return output_text
API接口设计与实现
接下来，我们使用FastAPI框架设计一个API接口，接收POST请求并返回模型生成的结果。以下是完整的服务端代码：
from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
from typing import List, Dict, Union
app = FastAPI()
# 加载模型
model, processor = load_model()
class Message(BaseModel):
role: str
content: List[Dict[str, Union[str, Dict]]]
class RequestData(BaseModel):
messages: List[Message]
enable_thinking: bool = False
@app.post("/predict")
async def predict(request: RequestData):
try:
output = infer(model, processor, request.messages, request.enable_thinking)
return {"result": output}
except Exception as e:
raise HTTPException(status_code=500, detail=str(e))
if __name__ == "__main__":
import uvicorn
uvicorn.run(app, host="0.0.0.0", port=8000)
接口说明
- 请求方法：POST
- 请求路径：
/predict - 请求体：
{ "messages": [ { "role": "user", "content": [ {"type": "text", "text": "Describe the image."}, {"type": "image_url", "image_url": {"url": "https://example.com/image.jpg"}} ] } ], "enable_thinking": false } - 响应：
{ "result": "模型生成的文本结果" }
测试API服务
使用curl测试
curl -X POST "http://0.0.0.0:8000/predict" \
-H "Content-Type: application/json" \
-d '{
"messages": [
{
"role": "user",
"content": [
{"type": "text", "text": "Describe the image."},
{"type": "image_url", "image_url": {"url": "https://example.com/image.jpg"}}
]
}
],
"enable_thinking": false
}'
使用Python requests测试
import requests
url = "http://0.0.0.0:8000/predict"
data = {
"messages": [
{
"role": "user",
"content": [
{"type": "text", "text": "Describe the image."},
{"type": "image_url", "image_url": {"url": "https://example.com/image.jpg"}}
]
}
],
"enable_thinking": False
}
response = requests.post(url, json=data)
print(response.json())
部署与性能优化考量
部署方案
- Gunicorn：结合Gunicorn多进程部署，提升并发能力。
gunicorn -w 4 -k uvicorn.workers.UvicornWorker app:app - Docker：将服务容器化，便于跨环境部署。
性能优化
- 批量推理（Batching）：支持批量请求处理，减少GPU资源占用。
- 异步处理：利用FastAPI的异步特性，提升高并发性能。
- 缓存机制：对频繁请求的结果进行缓存，减少重复计算。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
