【应用实战】利用Ollama + RAGFlow部署千问大模型：构建个人知识库AI智能体

最新推荐文章于 2025-12-08 11:11:20 发布
原创 最新推荐文章于 2025-12-08 11:11:20 发布 · 1.7k 阅读 · 33 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #prompt #大模型 #学习 #知识图谱

将开源的大语言预训练模型部署到用户设备上进行推理应用，特别是结合用户专业领域知识库构建AI应用，让AI在回答时更具有专业性，目前已经有很多成熟的应用方案。其中，支持大模型本地化部署的平台及工具很多，比较出名的有ollama、vLLM、LangChain、Ray Serve等，大大简化了模型的部署工作，并提供模型全生命周期管理。对应地，需要知识库构建的相应工具，能处理各种格式（doc/pdf/txt/xls等）的各种文档，能够直接读取文档并处理大量信息资源，包括文档上传、自动抓取在线文档，然后进行文本的自动分割、向量化处理，来实现本地检索增强生成（RAG）等功能。这类工具主要有RAGFlow、MaxKB、AnythingLLM、FastGPT、Dify 、Open WebUI 等。本文将采用ollama + RAGFlow方式进行搭建，系统架构如下：

1 安装ollama

ollama是一个开源的大型语言模型服务工具，旨在帮助用户在本地环境中部署和运行大型语言模型，其核心功能是提供一个简单、灵活的方式，将这些复杂的AI模型从云端迁移到本地机器上，简化大型语言模型在本地环境中的运行和管理。它不仅为开发者提供了一个强大的平台来部署和定制AI模型，而且也让终端用户能够更加私密和安全地与这些智能系统进行交互。

(1)执行如下命令安装

curl -fsSL https://ollama.com/install.sh | sh

在安装过程中，ollama会识别相应的GPU加速卡，若未识别相应设备，则使用CPU模式

GPU模式“NVIDIA GPU installed”

CPU模式“No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode”

(2)安装后查看ollama状态

sudo systemctl status ollama

(3)设置ollama环境变量

sudo vi /etc/systemd/system/ollama.service

增加Environment=”OLLAMA_HOST=0.0.0.0:11434”，否则后面在RAGFlow容器环境下配置连接时，无法连接ollama.

#  修改并重启服务``sudo systemctl daemon-reload``sudo systemctl restart ollama.ser
最低0.47元/天 解锁文章
大模型管理工具Ollama搭建及整合springboot
congge_study的博客
06-01 1万+
Ollama搭建与部署使用
RAGFlow智能体开发：智能体组件
王国平的博客
10-09 1181
RAGFlow 智能体组件的完整参考。开始组件、智能体组件、检索组件、消息组件、等待响应组件、分支组件、循环组件、分类组件、代码组件、文本处理组件等。
全民上手大模型--ollama+langchain+通义千问零费用java+python跑通本机大模型
敏叔
04-25 5324
写本篇文章是因为我经历过了各种付费+测试之后很艰难想入手大模型，国内的同学学技术还是太困难了，但是看到市面上各种火爆，实在有按捺不住想体验,终于迎来了一个契机。在此之前，应该大家都了解OpenAPI，确实强大，但是国内用户来说，有以下问题：一、网络不通，这里还不是简单的翻墙的问题，是他的网站都不对中国大陆开放，政治因素就不谈了二、贵这玩意其实是按调用次数收费的，厉害点的功能其实都要收费，还是美元三、其实中文方面还是没有那么强了。
高效构建企业知识库：开源RAG引擎RAGFlow全攻略指南
最新发布
gitblog_00590的博客
12-08 1016
RAGFlow是一款基于深度文档理解技术的开源RAG引擎（检索增强生成，一种结合知识库的AI问答方案），它能帮助企业及开发者快速构建智能问答系统，支持处理复杂格式文档并提供精准引用。无论您是技术团队负责人、AI应用开发者还是需要搭建企业知识库的IT管理员，本指南都能助您轻松掌握从环境配置到深度优化的全流程。 ## 验证环境兼容性 在开始RAGFlow之旅前，让我们先确保您的系统能够顺畅运行这个
利用ollama + RAGFlow部署千问大模型构建个人知识库AI智能体应用
qkh1234567的博客
12-16 1507
将开源的大语言预训练模型部署到用户设备上进行推理应用，特别是结合用户专业领域知识库构建AI应用，让AI在回答时更具有专业性，目前已经有很多成熟的应用方案。其中，支持大模型本地化部署的平台及工具很多，比较出名的有ollama、vLLM、LangChain、Ray Serve等，大大简化了模型的部署工作，并提供模型全生命周期管理。
RAG 实践- Ollama+RagFlow 部署本地知识库
python123456_的博客
09-04 6066
本文我们介绍另一种实现方式：利用 Ollama+RagFlow 来实现，其中 Ollama 中使用的模型仍然是Qwen2我们再来回顾一下 RAG 常见的应用架构。
deepseek+ollama+ragflow本地部署 DeepSeek 私有模型：构建个性化、安全的知识管理体系
ddv_08的博客
02-17 3026
deepseek+ollama+ragflow本地部署 DeepSeek 私有模型：构建个性化、安全的知识管理体系
知识库搭建实战二十、Ollama+RagFlow 部署本地知识库
xiaoqi270620903的专栏
09-09 9631
通过以上步骤，你已经成功在 Windows 系统上通过 Docker 部署了一个本地化的大模型知识库，结合 RagFlow 和 Ollama，安装了通义千问2 7B 模型和中文 Embedding 模型，构建了一个支持中文问答的系统。这种设置适用于企业内部知识管理、自动化客服、智能问答等场景。
RagFlow 完全指南（一）：从零搭建开源大模型应用平台（Ollama、VLLM本地模型接入实战）
冷不丁
05-11 3220
RagFlow 是一个基于深度文档理解的自动化 RAG（Retrieval-Augmented Generation）工作流工具，支持从多种复杂格式的非结构化数据中提取信息。其核心特性包括基于模板的文本切片、降低幻觉、兼容异构数据源以及支持大语言模型和向量模型的配置。RagFlow 提供了易用的 API，可轻松集成到企业系统中。安装与部署过程依赖于 Docker 和 Docker Compose，支持 CPU 和 GPU 环境。用户可以通过本地模型（如 Ollama 和 VLLM）进行接入，并提供了详细的配
windows DeepSeek RAGFlow构建本地知识库系统
m0_71071763的博客
03-03 2085
windows DeepSeek RAGFlow构建本地知识库系统
用Ollama+RAGflow打造私有知识库，全程干货，零基础小白也能轻松掌握！
嘴巴吃糖了
02-17 2630
Ollama 是一个本地运行的大语言模型（LLM）工具平台，允许用户在本地设备上运行和管理大模型，而无需依赖云服务。它支持多种开源模型，并提供了用户友好的接口，非常适合开发者和企业使用。
Burpsuite 指纹特征绕过
Javachichi的博客
12-05 5385
需要高版本 17 + 的 burp 运行插件，可 bypass 网站流量设备的检测，正常抓包。未使用插件前，burp 指纹特征被识别，抓包被拦截。
【AI大模型部署】利用ollama + RAGFlow部署千问大模型构建个人知识库AI智能体应用
datian1234的博客
12-28 2453
将开源的大语言预训练模型部署到用户设备上进行推理应用，特别是结合用户专业领域知识库构建AI应用，让AI在回答时更具有专业性，目前已经有很多成熟的应用方案。其中，支持大模型本地化部署的平台及工具很多，比较出名的有ollama、vLLM、LangChain、Ray Serve等，大大简化了模型的部署工作，并提供模型全生命周期管理。对应地，需要知识库构建的相应工具，能处理各种格式（doc/pdf/txt/xls等）的各种文档，能够直接读取文档并处理大量信息资源，包括文档上传、自动抓取在线文档，然后进行文本的自动分
大模型（deepseek）之LLM+RAG构建本地化知识库应用（Ollama+Deepseek+RAGFlow）
热门推荐
qq_31400983的博客
10-07 1万+
应用RAG（Retrieval Augmented Generation，检索增强生成）构建本地知识库，并与LLM（大模型）相结合，可有效解决LLM知识更新难问题，已成为专业领域智能问答的首选，下面就以Ollama+Deepseek+RAGFlow为例构建本地知识库应用。
【2025版】用Ollama+RAGflow打造私有知识库，从零基础到精通，精通收藏这篇就够了！
Libra1313的博客
03-04 1871
Ollama 是一个本地运行的大语言模型（LLM）工具平台，允许用户在本地设备上运行和管理大模型，而无需依赖云服务。它支持多种开源模型，并提供了用户友好的接口，非常适合开发者和企业使用。Usage:serve 启动 Ollama 服务create 从 Modelfile 创建一个模型show 查看模型详细信息run 运行一个模型stop 停止正在运行的模型pull 从注册表拉取一个模型push 将一个模型推送到注册表list 列出所有可用的模型ps 列出当前正在运行的模型。
【大模型部署】Ollama+RagFlow 部署本地知识库
pythonhy的博客
11-04 2925
本文我们介绍另一种实现方式：利用 Ollama+RagFlow 来实现，其中 Ollama 中使用的模型仍然是Qwen2
请深入说下操作和搭建的步骤，目前已经有DEEPSEEK大模型和接入的APIKEY 利用DeepSeek + RAGFlow搭建 利用Ollama、DeepSeek、Docker和RAGFlow在本地搭建一个私有知识问答库，结合强大的语言模型、高效的语义理解和灵活的检索增强生成技术，实现安全、可靠的企业级私有知识库系统2
10-29
<think>我们已有DeepSeek大模型和API KEY，现在要利用DeepSeek、RAGFlow、Ollama和Docker在本地搭建企业级私有知识库系统。根据引用[1][2][3][4]，搭建步骤可以分为环境准备、安装Docker、安装Ollama（以GPU模式启动）、安装RAGFlow、配置知识库和启动服务等步骤。 下面我将详细说明搭建步骤： ### 一、环境准备 1. **操作系统**：推荐使用Linux（如Ubuntu 20.04/22.04）或Windows（需安装WSL2）[^1]。 2. **硬件要求**： - CPU：建议4核以上 - 内存：建议16GB以上（根据模型大小调整，如使用7B模型至少16GB，70B模型需要更高内存） - 显卡：NVIDIA GPU（显存至少6GB，推荐12GB以上）[^2] 3. **安装依赖**： - Docker Engine（版本20.10.0以上） - NVIDIA Container Toolkit（若使用GPU）[^1] - Ollama（最新版） ### 二、安装Docker 1. **Linux系统**： ```bash sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io ``` 2. **Windows系统**：下载Docker Desktop并安装，确保启用WSL2后端[^4]。 3. **验证安装**： ```bash docker --version ``` ### 三、安装并配置Ollama 1. **下载安装Ollama**： - Linux： ```bash curl -fsSL https://ollama.com/install.sh | sh ``` - Windows：下载安装包直接安装[^2]。 2. **以GPU模式启动Ollama**（Linux）[^1]： ```bash OLLAMA_GPU_LAYERS=50 ollama run deepseek-r1 ``` 注意：`OLLAMA_GPU_LAYERS`参数指定使用GPU的层数，根据显存大小调整（如16GB显存可设为50）[^2]。 3. **验证Ollama服务**： ```bash curl http://localhost:11434/api/generate -d '{ "model": "deepseek-r1", "prompt": "Hello" }' ``` ### 四、安装RAGFlow RAGFlow是一个开源的RAG（检索增强生成）引擎，支持多种文件格式，并内置OCR能力[^1]。 1. **通过Docker安装RAGFlow**： ```bash docker run -d --name ragflow \ -p 80:80 \ -v /path/to/your/data:/app/data \ --restart always \ registry.gitlab.com/deepseek-ai/ragflow:latest ``` 2. **配置RAGFlow**： - 访问`http://localhost`进入管理界面 - 设置知识库存储路径（映射到本地的`/path/to/your/data`）[^4] - 配置Ollama地址：注意若Ollama安装在宿主机（非Docker容器），则地址为`http://host.docker.internal:11434`[^4] ### 五、配置知识库 1. **上传文档**： - 在RAGFlow管理界面，上传企业文档（支持PDF、Word、Excel等格式）[^3] - 系统会自动进行文本提取、分块和向量化（使用DeepSeek Embedding模型） 2. **连接DeepSeek大模型**： - 在模型设置中，选择“Ollama”作为推理引擎 - 模型名称填写`deepseek-r1` - 填入API KEY（如有）[^3] 3. **构建索引**： - 点击“构建索引”按钮，等待向量数据库生成完成 ### 六、启动问答服务 1. **通过RAGFlow API进行问答**： ```bash curl -X POST http://localhost/api/v1/ask \ -H "Content-Type: application/json" \ -d '{ "question": "公司年假如何计算？", "knowledge_base_name": "企业制度" }' ``` 2. **前端集成**： - 使用RAGFlow提供的React/Vue组件嵌入企业现有系统[^1] ### 常见问题解决 1. **Ollama连接失败**： - 检查Ollama服务状态：`systemctl status ollama`（Linux） - 防火墙开放11434端口 2. **GPU无法调用**： - 安装NVIDIA Container Toolkit： ```bash distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker ``` - 启动容器时添加`--gpus all`参数[^1] 3. **中文支持优化**： - 在RAGFlow设置中切换至中文Embedding模型（如`bge-large-zh`）[^3] > 注意：以上步骤基于引用[1][2][3][4]整理，实际部署时请根据具体环境调整参数。 §§相关问题§§ 1. 如何优化RAGFlow处理中文文档的效果？ 2. 在企业内网环境中部署时需要注意哪些安全配置？ 3. 如何监控私有知识库系统的运行状态和性能？ 4. 当知识库文档更新时，如何实现增量索引更新？ </think>以下是基于 **DeepSeek + RAGFlow + Ollama + Docker** 在本地搭建企业级私有知识库系统的详细步骤（已整合引用内容）： --- ### 一、环境准备与依赖安装 1. **安装 Docker** - Linux 系统： ```bash sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io ``` - Windows/macOS：下载 [Docker Desktop](https://www.docker.com/) 并安装[^1][^4] 2. **部署 Ollama** ```bash # 拉取镜像并启动容器 (Linux) docker run -d --gpus=all -p 11434:11434 --name ollama ollama/ollama # 下载 DeepSeek 模型 (根据硬件选择版本，如 7B/14B) docker exec -it ollama ollama run deepseek-r1:7b ``` > 注：GPU 模式需提前安装 [NVIDIA Container Toolkit](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html)[^1][^2] --- ### 二、配置 RAGFlow（核心知识库引擎） 1. **启动 RAGFlow 容器** ```bash docker run -d \ --name ragflow \ -p 80:80 \ -v /your/local/data:/app/data \ registry.gitlab.com/deepseek-ai/ragflow:latest ``` > 映射说明：`/your/local/data` 替换为本地知识文档存储路径[^4] 2. **连接 Ollama 服务** - 修改 RAGFlow 配置文件 `/app/config.yaml`： ```yaml ollama_endpoint: "http://host.docker.internal:11434" # Windows/macOS # 或 ollama_endpoint: "http://宿主机IP:11434" # Linux model: deepseek-r1 ``` - 重启容器：`docker restart ragflow`[^4] --- ### 三、知识库构建与接入 1. **上传企业文档** - 访问 `http://localhost` 进入 RAGFlow 管理界面 - 支持格式：PDF/Word/Excel/网页/数据库等 - 系统自动完成：文本分块 → 向量化 → 存储[^1][^3] 2. **配置 DeepSeek API KEY** - 在 RAGFlow 的 **Model Settings** 填入 API KEY - 选择模型参数（根据硬件调整）[^2] --- ### 四、启动问答服务 1. **通过 API 调用** ```bash curl -X POST http://localhost/api/v1/ask \ -H "Content-Type: application/json" \ -d '{ "question": "公司年假如何计算？", "knowledge_base_name": "员工手册" }' ``` 2. **前端集成方案** - 使用 RAGFlow 提供的 React/Vue 组件嵌入企业系统[^3] - 自定义 UI 参考开发文档：[RAGFlow Docs](https://docs.ragflow.io) --- ### 五、验证与调试 1. **日志监控** ```bash docker logs -f ragflow # 实时查看运行日志 ``` 2. **测试流程** ```mermaid graph LR A[用户提问] --> B(RAGFlow检索知识库) B --> C[匹配相关文本片段] C --> D[DeepSeek生成回答] D --> E[返回结果] ``` --- ### 注意事项 1. **硬件建议** - 7B 模型：≥16GB 内存 + 8GB 显存 - 14B 模型：≥32GB 内存 + 16GB 显存[^2] 2. **安全加固** - 启用 HTTPS：通过 Nginx 反向代理添加 SSL 证书 - 访问控制：配置 RAGFlow 的 API 密钥认证[^4] > 完整实战案例参考：[DeepSeek + RagFlow + Ollama 构建知识库系统指南](https://example.com)[^1][^3]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值