[使用IPEX-LLM在Intel GPU上进行本地BGE嵌入：实用指南]

# 使用IPEX-LLM在Intel GPU上进行本地BGE嵌入：实用指南

## 引言

随着大型语言模型（LLM）的应用越来越广泛，用于嵌入任务的优化方案也变得至关重要。本文将介绍如何通过在Intel GPU上使用IPEX-LLM优化，结合LangChain进行BGE嵌入任务。此方法适用于诸如RAG（检索增强生成），文档问答等应用。

## 主要内容

### 环境准备

要在Intel GPU上使用IPEX-LLM，您需要进行工具安装和环境配置。

#### 安装先决条件

- **Windows用户**请参阅[在Windows上使用Intel GPU安装IPEX-LLM指南](https://your-link.com)。
- **Linux用户**请参阅[在Linux上使用Intel GPU安装IPEX-LLM指南](https://your-link.com)。

### 设置

在完成先决条件的安装后，您应创建一个包含所有必要依赖项的conda环境，并在该环境中启动Jupyter服务：

```bash
%pip install -qU langchain langchain-community
%pip install --pre --upgrade ipex-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/us/
%pip install sentence-transformers

注意：您也可以使用https://pytorch-extension.intel.com/release-whl/stable/xpu/cn/作为额外的Intel URL。

运行时配置

为了获得最佳性能，建议根据您的设备设置环境变量：

对于Intel Core Ultra集成GPU的Windows用户

import os

os.environ["SYCL_CACHE_PERSISTENT"] = "1"
os.