【限时免费】 生产力升级：将bge-small-en-v1.5模型封装为可随时调用的API服务

生产力升级：将bge-small-en-v1.5模型封装为可随时调用的API服务

【免费下载链接】bge-small-en-v1.5 项目地址: https://gitcode.com/mirrors/BAAI/bge-small-en-v1.5

引言：为什么要将模型API化？

在现代软件开发中，将本地模型封装成API服务已经成为一种常见的实践。这种做法的好处包括：

1. 解耦：将模型逻辑与前端或其他服务分离，使得模型更新或替换时不会影响其他部分。
2. 复用：通过API，多个应用可以共享同一个模型服务，避免重复开发和资源浪费。
3. 跨语言调用：API服务可以通过HTTP协议被任何语言调用，方便多语言环境下的集成。
4. 简化部署：API服务可以独立部署，便于扩展和维护。

本文将指导开发者如何将开源模型bge-small-en-v1.5封装成一个标准的RESTful API服务，供其他应用调用。

---

技术栈选择

为了实现这一目标，我们推荐使用FastAPI作为Web框架。FastAPI是一个轻量级、高性能的Python Web框架，具有以下优势：

• 性能高：基于Starlette和Pydantic，FastAPI的性能接近Node.js和Go。
• 自带文档：自动生成交互式API文档（Swagger UI和ReDoc），方便调试和测试。
• 类型安全：支持Python类型提示，减少运行时错误。

---

核心代码：模型加载与推理函数

首先，我们需要将bge-small-en-v1.5模型的加载和推理逻辑封装成一个独立的Python函数。以下是核心代码：

from sentence_transformers import SentenceTransformer

# 加载模型
model = SentenceTransformer('bge-small-en-v1.5')

def generate_embeddings(texts):
    """
    生成文本的嵌入向量
    :param texts: 输入文本列表
    :return: 嵌入向量列表
    """
    embeddings = model.encode(texts)
    return embeddings.tolist()

代码说明：

1. 模型加载：使用sentence-transformers库加载bge-small-en-v1.5模型。
2. 推理函数：generate_embeddings函数接收文本列表，返回对应的嵌入向量列表。

---

API接口设计与实现

接下来，我们使用FastAPI设计一个接收POST请求的API接口，输入为文本，输出为模型生成的嵌入向量。

完整服务端代码

from fastapi import FastAPI
from pydantic import BaseModel
from typing import List
from sentence_transformers import SentenceTransformer

# 初始化FastAPI应用
app = FastAPI()

# 加载模型
model = SentenceTransformer('bge-small-en-v1.5')

class TextRequest(BaseModel):
    texts: List[str]

@app.post("/embeddings")
def get_embeddings(request: TextRequest):
    """
    生成文本嵌入向量的API接口
    :param request: 包含文本列表的请求体
    :return: 嵌入向量列表
    """
    embeddings = model.encode(request.texts)
    return {"embeddings": embeddings.tolist()}

代码说明：

1. 请求模型：使用pydantic定义请求体的数据结构，确保输入为文本列表。
2. API接口：/embeddings接口接收POST请求，调用generate_embeddings函数生成嵌入向量，并以JSON格式返回。

---

测试API服务

完成API开发后，我们可以使用curl或Python的requests库测试服务是否正常工作。

使用curl测试

curl -X POST "http://127.0.0.1:8000/embeddings" \
-H "Content-Type: application/json" \
-d '{"texts": ["Hello, world!", "This is a test."]}'

使用Python requests测试

import requests

url = "http://127.0.0.1:8000/embeddings"
data = {"texts": ["Hello, world!", "This is a test."]}
response = requests.post(url, json=data)
print(response.json())

预期输出

{
  "embeddings": [
    [0.123, -0.456, ...],
    [0.789, -0.012, ...]
  ]
}

---

部署与性能优化考量

部署方案

1. Gunicorn：使用Gunicorn作为生产环境的WSGI服务器，支持多进程运行。

   gunicorn -w 4 -k uvicorn.workers.UvicornWorker main:app
   

2. Docker：将服务容器化，便于跨平台部署。

性能优化

1. 批量推理：支持批量输入文本，减少模型调用次数。
2. 缓存：对频繁请求的文本结果进行缓存，提升响应速度。
3. 异步处理：使用FastAPI的异步特性，提高并发能力。

---

结语

【免费下载链接】bge-small-en-v1.5 项目地址: https://gitcode.com/mirrors/BAAI/bge-small-en-v1.5