LlamaIndex+InternLM API 实战

1.进入开发机后,创建新的conda环境,命名为 llamaindex,在命令行模式下运行

conda create -n llamaindex python=3.10

        并查看创建好的的环境

 2.切换到新环境下安装依赖包

conda activate llamaindex
pip install einops==0.7.0 protobuf==5.26.1
2.1安装 Llamaindex和相关的包
conda activate llamaindex
pip install llama-index==0.11.20
pip install llama-index-llms-replicate==0.3.0
pip install llama-index-llms-openai-like==0.2.0
pip install llama-index-embeddings-huggingface==0.3.1
pip install llama-index-embeddings-instructor==0.2.1
pip install torch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 --index-url https://download.pytorch.org/whl/cu121
2.2下载 Sentence Transformer 词向量模型
cd ~
mkdir llamaindex_demo
mkdir model
cd ~/llamaindex_demo
touch download_hf.py
import os

# 设置环境变量
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

# 下载模型
os.system('huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 --local-dir /root/model/sentence-transformer')

 执行下载

cd /root/llamaindex_demo
conda activate llamaindex
python download_hf.py

 

2.3 下载 NLTK 相关资源
cd /root
git clone https://gitee.com/yzy0612/nltk_data.git  --branch gh-pages
cd nltk_data
mv packages/*  ./
cd tokenizers
unzip punkt.zip
cd ../taggers
unzip averaged_perceptron_tagger.zip

结果如下

2.4无RAG,无法正常回答问题

 

3 使用 API+LlamaIndex

3.1 运行以下命令,获取知识库
cd data

wget https://github.com/InternLM/HuixiangDou/blob/main/READM
E_zh.md

cd ~/llamaindex_demo
touch llamaindex_RAG.py
3.2 运行llamaIndex进行RAG
cd ~/llamaindex_demo/
python llamaindex_RAG.py

 可以看到结果已经发生变化,参考了外部文档

要将 Streamlit+LlamaIndex+浦语API 的 Space 部署到 Hugging Face,你可以按照以下步骤进行: 1. **准备工作**: - 确保你已经安装了必要的库和工具,如 `streamlit`、`llama-index` 和 `huggingface_hub`。 - 在 Hugging Face 上创建一个账户并登录。 2. **创建新的 Space**: - 登录 Hugging Face 后,点击右上角的 “New Space” 按钮。 - 填写 Space 的名称和描述,选择合适的 SDK(如 Streamlit),然后点击 “Create Space”。 3. **编写代码**: - 在本地创建一个新的目录,并在其中创建一个 `app.py` 文件。 - 在 `app.py` 中编写你的 Streamlit 应用代码,并集成 LlamaIndex 和浦语API。例如: ```python import streamlit as st from llama_index import GPTVectorStoreIndex from llama_index import download_loader # 初始化 LlamaIndex loader = download_loader("LlamaCpp") documents = loader.load_data('path_to_your_data') index = GPTVectorStoreIndex.from_documents(documents) # Streamlit 应用 st.title("LlamaIndex + 浦语API Demo") user_input = st.text_input("请输入你的问题:") if st.button("提交"): response = index.query(user_input) st.write(response) ``` 4. **配置依赖**: - 在项目根目录下创建一个 `requirements.txt` 文件,列出所有依赖库。例如: ``` streamlit llama-index huggingface_hub ``` 5. **提交代码到 Hugging Face**: - 初始化 Git 仓库并提交代码: ```bash git init git add . git commit -m "Initial commit" ``` - 将远程仓库设置为 Hugging Face Space 的仓库: ```bash git remote add origin https://huggingface.co/spaces/你的用户名/你的Space名称 ``` - 推送代码到 Hugging Face: ```bash git push origin main ``` 6. **部署和测试**: - 推送完成后,Hugging Face 会自动构建并部署你的应用。 - 部署完成后,你可以在 Hugging Face 上访问你的 Space 并测试应用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值