HuggingFace Text Embeddings Inference 快速入门指南

董向越

于 2025-06-11 09:02:27 发布

阅读量319

点赞数 5

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_01051/article/details/148575300

HuggingFace Text Embeddings Inference 快速入门指南

text-embeddings-inference A blazing fast inference solution for text embeddings models 项目地址: https://gitcode.com/gh_mirrors/te/text-embeddings-inference

项目概述

HuggingFace Text Embeddings Inference (TEI) 是一个高性能的文本嵌入推理服务，它能够帮助开发者快速部署和使用各种预训练的语言模型，包括文本嵌入模型、重排序模型和序列分类模型。该项目通过Docker容器提供开箱即用的服务，支持GPU加速，特别适合需要处理大规模文本嵌入计算的应用场景。

环境准备

在开始使用TEI之前，需要确保你的系统满足以下要求：

硬件支持：确认你的硬件设备在支持列表中，特别是GPU型号
NVIDIA驱动：安装最新版NVIDIA驱动，确保兼容CUDA 12.2或更高版本
Docker环境：安装最新版Docker引擎
NVIDIA容器工具包：如果计划使用GPU加速，需要安装NVIDIA Container Toolkit

文本嵌入模型部署

文本嵌入模型能够将文本转换为高维向量表示，广泛应用于语义搜索、信息检索等场景。以下是部署BAAI/bge-large-en-v1.5模型的步骤：

model=BAAI/bge-large-en-v1.5
volume=$PWD/data

docker run --gpus all -p 8080:80 -v $volume:/data --pull always text-embeddings-inference:1.6 --model-id $model

最佳实践：建议挂载本地目录作为数据卷，避免每次运行都重新下载模型权重。

部署完成后，可以通过API端点获取文本嵌入：

curl 127.0.0.1:8080/embed \
    -X POST \
    -d '{"inputs":"What is Deep Learning?"}' \
    -H 'Content-Type: application/json'

重排序模型应用

重排序模型(Re-rankers)是特殊的序列分类模型，用于评估查询与文档之间的相关性分数。在RAG(检索增强生成)流程中，重排序可以显著提升最终结果质量。

部署BAAI/bge-reranker-large模型的命令与文本嵌入模型类似：

model=BAAI/bge-reranker-large
volume=$PWD/data

docker run --gpus all -p 8080:80 -v $volume:/data --pull always text-embeddings-inference:1.6 --model-id $model

使用重排序API的示例：

curl 127.0.0.1:8080/rerank \
    -X POST \
    -d '{"query":"What is Deep Learning?", "texts": ["Deep Learning is not...", "Deep learning is..."], "raw_scores": false}' \
    -H 'Content-Type: application/json'

序列分类模型使用

TEI也支持传统的序列分类模型，如情感分析模型。以下是部署情感分析模型的示例：

model=SamLowe/roberta-base-go_emotions
volume=$PWD/data

docker run --gpus all -p 8080:80 -v $volume:/data --pull always text-embeddings-inference:1.6 --model-id $model

预测API调用方式：

curl 127.0.0.1:8080/predict \
    -X POST \
    -d '{"inputs":"I like you."}' \
    -H 'Content-Type: application/json'

批量处理能力

TEI支持批量处理输入，显著提高处理效率：

文本嵌入批量处理：

curl 127.0.0.1:8080/embed \
    -X POST \
    -d '{"inputs":["Today is a nice day", "I like you"]}' \
    -H 'Content-Type: application/json'

序列分类批量处理：

curl 127.0.0.1:8080/predict \
    -X POST \
    -d '{"inputs":[["I like you."], ["I hate pineapples"]]}' \
    -H 'Content-Type: application/json'

离线环境部署

对于无法连接互联网的环境，可以预先下载模型权重，然后通过数据卷挂载：

# 创建模型目录
mkdir models
cd models

# 下载模型权重(需预先安装git-lfs)
git clone https://huggingface.co/Alibaba-NLP/gte-base-en-v1.5

# 部署时挂载模型目录
volume=$PWD
docker run --gpus all -p 8080:80 -v $volume:/data --pull always text-embeddings-inference:1.6 --model-id /data/gte-base-en-v1.5