轻松掌握Text Embeddings Inference——在你的应用中利用强大文本嵌入模型

最新推荐文章于 2025-04-16 17:12:21 发布

nseejrukjhad

最新推荐文章于 2025-04-16 17:12:21 发布

阅读量1.2k

点赞数 5

文章标签： python

本文链接：https://blog.youkuaiyun.com/nseejrukjhad/article/details/144312089

版权

引言

在现代NLP应用中，文本嵌入（Text Embeddings）已成为一个重要的组成部分。这些嵌入能将文本信息转换为向量形式，从而支持机器学习算法在文本分析中的应用。本文将深入探讨Hugging Face的Text Embeddings Inference（TEI）工具包，帮助你快速部署和使用开源的文本嵌入模型。同时，我们还将介绍如何在Langchain中集成TEI，以及如何解决常见的访问问题。

主要内容

1. 什么是Text Embeddings Inference？

Hugging Face的Text Embeddings Inference（TEI）是一款工具包，用于部署和服务开源的文本嵌入和序列分类模型，如FlagEmbedding、Ember、GTE和E5。TEI支持高性能的嵌入提取，适用于常见的文本分析任务。

2. 安装和准备

在你开始使用TEI之前，需要安装huggingface-hub：

%pip install --upgrade huggingface-hub

接着，你需要通过TEI暴露一个嵌入模型。可以使用Docker来服务模型，例如，使用BAAI/bge-large-en-v1.5模型：

model=BAAI/bge-large-en-v1.5
revision=refs/pr/5
volume=$PWD/data # 与Docker容器共享一个卷以避免每次运行都下载模型权重

docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:0.6 --model-id $model --revision $revision

3. 在Langchain中的集成

Hugging Face提供了一个易用的API来集成这些模型。在Langchain中，你可以使用HuggingFaceEndpointEmbeddings来进行文本嵌入：

from langchain_huggingface.embeddings import HuggingFaceEndpointEmbeddings

# 使用API代理服务提高访问稳定性
embeddings = HuggingFaceEndpointEmbeddings(model="http://localhost:8080")

text = "What is deep learning?"

query_result = embeddings.embed_query(text)
print(query_result[:3])  # 输出前三个嵌入值

doc_result = embeddings.embed_documents([text])
print(doc_result[0][:3])  # 输出文档嵌入的前三个值

代码示例

下面是完整的代码示例，展示如何成功运行嵌入模型并获取文本的嵌入向量：

from langchain_huggingface.embeddings import HuggingFaceEndpointEmbeddings

# 使用API代理服务提高访问稳定性
embeddings = HuggingFaceEndpointEmbeddings(model="http://localhost:8080")

text = "What is deep learning?"

# 嵌入查询文本
query_result = embeddings.embed_query(text)
print("Query Embedding:", query_result[:3])

# 嵌入文档
doc_result = embeddings.embed_documents([text])
print("Document Embedding:", doc_result[0][:3])