使用IPEX-LLM优化在Intel CPU上的本地BGE嵌入：LangChain实践

最新推荐文章于 2025-05-05 18:02:41 发布

tt_jishu

最新推荐文章于 2025-05-05 18:02:41 发布

阅读量436

点赞数 3

CC 4.0 BY-SA版权

文章标签： langchain python

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/142379426

引言

在现代自然语言处理应用中，嵌入是将文本转换为数值向量的关键步骤。这对于检索增强生成(RAG)、文档问答等任务尤其重要。本篇文章将介绍如何在Intel CPU上使用LangChain与IPEX-LLM进行BGE嵌入优化，帮助您实现低延迟的文本处理。

主要内容

IPEX-LLM简介

IPEX-LLM是一款基于PyTorch的库，专为在Intel CPU和GPU（如本地PC上的iGPU、Arc、Flex和Max等离散GPU）上运行大型语言模型（LLM）而设计。它通过优化技术显著降低了延迟。

安装和设置

首先，安装LangChain及其社区版：

%pip install -qU langchain langchain-community

接下来，安装适用于Intel CPU优化的IPEX-LLM和sentence-transformers：

%pip install --pre --upgrade ipex-llm[all] --extra-index-url https://download.pytorch.org/whl/cpu
%pip install sentence-transformers

注意：Windows用户在安装时不需要--extra-index-url选项。

基本用法

导入LangChain社区版中的IpexLLMBgeEmbeddings模块：

from langchain_community.embeddings import IpexLLMBgeEmbeddings

embedding_model = IpexLLMBgeEmbeddings(
    model_name="BAAI/bge-large-en-v1.5",
    model_kwargs={},
    encode_kwargs={"normalize_embeddings": True},
)

IPEX-LLM的API支持自定义模型和参数设置，以便更灵活地进行嵌入操作。

代码示例

以下是一个完整的代码示例，展示如何使用IpexLLMBgeEmbeddings进行文档和查询的嵌入：

from langchain_community.embeddings import IpexLLMBgeEmbeddings

# 实例化嵌入模型
embedding_model = IpexLLMBgeEmbeddings(
    model_name="BAAI/bge-large-en-v1.5",
    model_kwargs={},
    encode_kwargs={"normalize_embeddings": True},
)

# 待嵌入的文本
sentence = "IPEX-LLM is a PyTorch library for running LLM on Intel CPU and GPU with very low latency."
query = "What is IPEX-LLM?"

# 文本嵌入
text_embeddings = embedding_model.embed_documents([sentence, query])
print(f"text_embeddings[0][:10]: {text_embeddings[0][:10]}")
print(f"text_embeddings[1][:10]: {text_embeddings[1][:10]}")

# 查询嵌入
query_embedding = embedding_model.embed_query(query)
print(f"query_embedding[:10]: {query_embedding[:10]}")