通过本地LLM搭建本地RAG

整体思路

1. 通过ollama下载并搭建本地大预言模型LLM。
2. 通过ollama搭建embedding模型。
3. 通过langchain文件加载器加载本地内容文件（PDF文件）。
4. 通过langchain调用embedding模型进行向量存储和RAG检索。
5. 通过langchain prompts实现提示词工程。
6. 通过langchain调用LLM模型实现RAG生成，完成对本地文件的分析。

准备环境

• 服务器：CentOS Linux 7操作系统
• 开发环境：Python 3.12.0 for Windows
• 开发工具：VS Code

第一步：安装ollama，下载embedding模型和LLM模型

• 安装ollama

curl -fsSL https://ollama.com/install.sh | sh

• 安装成功后运行并下载模型

systemctl start ollama