InternLM + LlamaIndex RAG 实践（InternLM API）

这里以在 Intern Studio 服务器上部署LlamaIndex为例。
首先，打开 Intern Studio 界面，点击 创建开发机 配置开发机系统。
填写 开发机名称 后，点击 选择镜像 使用 Cuda12.0-conda 镜像，然后在资源配置中，使用 30% A100 * 1 的选项，然后立即创建开发机器

进入开发机后，创建新的conda环境，命名为 llamaindex，在命令行模式下运行：
conda create -n llamaindex python=3.10

复制完成后，在本地查看环境。

conda env list

运行 conda 命令，激活 llamaindex 然后安装相关基础依赖 python 虚拟环境:

conda activate llamaindex
安装python 依赖包
pip install einops==0.7.0 protobuf==5.26.1

安装 Llamaindex和相关的包

conda activate llamaindex
pip install llama-index==0.11.20
pip install llama-index-llms-replicate==0.3.0
pip install llama-index-llms-openai-like==0.2.0
pip install llama-index-embeddings-huggingface==0.3.1
pip install llama-index-embeddings-instructor==0.2.1
pip install torch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 --index-url https://download.pytorch.org/whl/cu121
cd ~
mkdir llamaindex_demo
mkdir model
cd ~/llamaindex_demo
touch download_hf.py

打开download_hf.py 贴入以下代码

import os

# 设置环境变量
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

# 下载模型
os.system('huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 --local-dir /root/model/sentence-transformer')

然后，在 /root/llamaindex_demo 目录下执行该脚本即可自动开始下载：

cd /root/llamaindex_demo
conda activate llamaindex
python download_hf.py

下载 NLTK 相关资源

我们在使用开源词向量模型构建开源词向量的时候，需要用到第三方库 nltk 的一些资源。正常情况下，其会自动从互联网上下载，但可能由于网络原因会导致下载中断，此处我们可以从国内仓库镜像地址下载相关资源，保存到服务器上。 我们用以下命令下载 nltk 资源并解压到服务器上：

不使用 LlamaIndex RAG（仅API）

浦语官网和硅基流动都提供了InternLM的类OpenAI接口格式的免费的 API，可以访问以下两个了解两个 API 的使用方法和 Key。
浦语官方 API：https://internlm.intern-ai.org.cn/api/document
硅基流动：https://cloud.siliconflow.cn/models?mfs=internlm
运行以下指令，新建一个python文件

cd ~/llamaindex_demo
touch test_internlm.py

打开test_internlm.py 贴入以下代码