【限时免费】 生产力升级：将gte-large-en-v1.5模型封装为可随时调用的API服务

生产力升级：将gte-large-en-v1.5模型封装为可随时调用的API服务

【免费下载链接】gte-large-en-v1.5 项目地址: https://ai.gitcode.com/mirrors/Alibaba-NLP/gte-large-en-v1.5

引言：为什么要将模型API化？

在AI模型的开发过程中，我们常常会遇到一个问题：如何将本地运行的模型能力开放给其他应用（如网站、App或小程序）调用？将模型封装成RESTful API服务是一个高效的解决方案。这样做的好处包括：

1. 解耦：模型服务与前端应用分离，各自独立开发和部署。
2. 复用：多个应用可以共享同一个模型服务，避免重复开发。
3. 跨语言调用：通过HTTP协议，任何语言的前端都可以轻松调用模型能力。
4. 易于扩展：API服务可以部署在云服务器上，支持高并发和负载均衡。

本文将指导你如何将开源模型gte-large-en-v1.5封装成一个标准的RESTful API服务，供其他应用随时调用。

---

技术栈选择

为了实现这一目标，我们推荐使用FastAPI作为Web框架。FastAPI是一个现代、高性能的Python Web框架，具有以下优势：

• 性能高：基于Starlette和Pydantic，性能接近Node.js和Go。
• 自带文档：自动生成交互式API文档（Swagger UI和ReDoc）。
• 易于上手：代码简洁，学习成本低。

当然，如果你更熟悉Flask，也可以选择它，但FastAPI在性能和功能上更胜一筹。

---

核心代码：模型加载与推理函数

首先，我们需要将模型加载和推理的逻辑封装成一个独立的Python函数。以下是基于gte-large-en-v1.5的核心代码：

from sentence_transformers import SentenceTransformer

# 加载模型
model = SentenceTransformer('gte-large-en-v1.5')

def get_embeddings(texts):
    """
    输入文本列表，返回对应的嵌入向量
    :param texts: 文本列表，例如 ["Hello, world!", "How are you?"]
    :return: 嵌入向量列表
    """
    embeddings = model.encode(texts)
    return embeddings.tolist()

代码说明：

1. 使用sentence_transformers库加载gte-large-en-v1.5模型。
2. 定义get_embeddings函数，接收文本列表，返回对应的嵌入向量列表。

---

API接口设计与实现

接下来，我们使用FastAPI将上述函数封装成一个RESTful API服务。以下是完整的服务端代码：

from fastapi import FastAPI
from pydantic import BaseModel
from typing import List
from sentence_transformers import SentenceTransformer

# 初始化FastAPI应用
app = FastAPI()

# 加载模型
model = SentenceTransformer('gte-large-en-v1.5')

class TextRequest(BaseModel):
    texts: List[str]

@app.post("/embeddings")
def get_embeddings(request: TextRequest):
    """
    API接口：输入文本列表，返回嵌入向量
    :param request: 包含文本列表的请求体
    :return: 嵌入向量列表
    """
    embeddings = model.encode(request.texts)
    return {"embeddings": embeddings.tolist()}

代码说明：

1. 定义TextRequest类，用于接收POST请求的JSON数据。
2. 创建/embeddings接口，接收文本列表，返回嵌入向量。
3. 使用model.encode生成嵌入向量，并将其转换为列表格式返回。

---

测试API服务

完成代码后，我们可以使用curl或Python的requests库测试API服务是否正常工作。

使用curl测试

curl -X POST "http://127.0.0.1:8000/embeddings" \
-H "Content-Type: application/json" \
-d '{"texts": ["Hello, world!", "How are you?"]}'

使用Python的requests库测试

import requests

url = "http://127.0.0.1:8000/embeddings"
data = {"texts": ["Hello, world!", "How are you?"]}
response = requests.post(url, json=data)
print(response.json())

预期输出

{
    "embeddings": [
        [0.123, -0.456, 0.789, ...],
        [-0.321, 0.654, -0.987, ...]
    ]
}

---

部署与性能优化考量

部署方案

1. Gunicorn：使用Gunicorn作为WSGI服务器，支持多进程运行FastAPI应用。

   gunicorn -w 4 -k uvicorn.workers.UvicornWorker main:app
   

2. Docker：将服务打包成Docker镜像，便于跨环境部署。

   FROM python:3.9
   COPY . /app
   WORKDIR /app
   RUN pip install fastapi uvicorn sentence-transformers
   CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8000"]
   

性能优化

1. 批量推理（Batching）：通过一次处理多个文本，减少模型调用次数。
2. 缓存：对频繁请求的文本结果进行缓存。
3. 异步处理：使用FastAPI的异步支持，提高并发性能。

---

总结

【免费下载链接】gte-large-en-v1.5 项目地址: https://ai.gitcode.com/mirrors/Alibaba-NLP/gte-large-en-v1.5