【LLM】使用 Ollama 和 RAGFlow 进行本地模型搭建&知识库问答

• RAGFlow 官网

1. Ollama

1.1 Ollama 简介

• Ollama 是一个开源的本地大语言模型运行框架，专为在本地机器上便捷部署和运行大语言模型而设计。
• Ollama 支持多种操作系统，包括 macOS、Windows、Linux 以及通过 Docker 容器运行。
• Ollama 提供对模型量化的支持，可以显著降低显存要求，使得在普通家用计算机上运行大模型成为可能。

1.2 Ollama 安装

Ollama 支持多种操作系统，包括 macOS、Windows、Linux 以及通过 Docker 容器运行。
Ollama 对硬件要求不高，旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。

• CPU：多核处理器（推荐 4 核或以上）。
• GPU：如果你计划运行大型模型或进行微调，推荐使用具有较高计算能力的 GPU（如 NVIDIA 的 CUDA 支持）。
• 内存：至少 8GB RAM，运行较大模型时推荐 16GB 或更高。
• 存储：需要足够的硬盘空间来存储预训练模型，通常需要 10GB 至数百 GB 的空间，具体取决于模型的大小。
• 软件要求：确保系统上安装了最新版本的 Python（如果打算使用 Python SDK）。

Ollama 官方下载地址：https://ollama.com/download。

1.2.1 Windows 安装

• 打开浏览器，访问 Ollama 官方网站：https://ollama.com/download，下载适用于 Windows 的安装程序。
• 下载地址为：https://ollama.com/download/OllamaSetup.exe。
• 下载完成后，双击安装程序并按照提示完成安装。
  
• 验证安装

  ollama --version
  

• 更改安装路径（可选）

  OllamaSetup.exe /DIR="d:\ollama"
  

• 更改下载模型路径
  • 修改系统环境变量 Path 添加 d:\ollama>
  • 新增系统环境 OLLAMA_MODELS 为 d:\ollama\models

1.2.2 Linux 安装

• Linux 下可以使用一键安装脚本，我们打开终端，运行一下命令：

  curl -fsSL https://ollama.com/install.sh | bash
  

• 验证安装

  ollama --version
  

1.2.3 Docker 安装

• 注：若尚未安装 docker，则可参考博客【Docker 安装】手把手教你安装&配置 Docker
• 官方 Docker 镜像 ollama/ollama 可在 Docker Hub 上获取：https://hub.docker.com/r/ollama/ollama。
• 拉取 Docker 镜像：

  docker pull ollama/ollama
  

• 运行容器：

  docker run -p 11434:11434 ollama/ollama
  

访问 http://localhost:11434 即可使用 Ollama。

1.3 Ollama 通过终端运行模型

• Ollama 运行模型使用 ollama run 命令。

  # 要运行 deepseek-r1:7b 并与该模型对话可以使用以下命令
  ollama run deepseek-r1:7b
  

• 执行上述命令后，如果没有模型会自动下载。下载完成后，可以在终端中与之进行交互：
  
• 结束对话可以使用 /bye 或 Ctrl+d

2. RAGFlow

2.1 RAGFlow 本地安装与部署

• 可参考博客 【LLM】RAGFlow 本地安装&部署

2.2 RAGFlow 模型添加

• 点击 模型供应商 选择 Ollama -> 添加模型
  
• 依次按照添加 LLM 要求填写必备项（添加其他模型同理）
  
• 点击设置默认模型进行模型配置
  

2.3 RAGFlow 知识库创建

• 在 RAGFlow 界面中点击 创建知识库
  
• 点击 新增文件上传本地文件
  
  注：文件要成功解析后才可进行模型问答！

2.4 RAGFlow 新建聊天

• 转到 聊天页面，点击 新建助理进行模型配置并选择知识库。
  
• 新建聊天后即可使用大模型进行知识库问答。