用Ollama+RAGflow打造私有知识库

最新推荐文章于 2025-04-27 15:14:25 发布

Python_金钱豹

最新推荐文章于 2025-04-27 15:14:25 发布

阅读量1k

点赞数 29

文章标签：算法人工智能机器学习计算机视觉 word

本文链接：https://blog.youkuaiyun.com/Python_cocola/article/details/145687968

版权

1. Ollama 简介 https://ollama.com

Ollama 是一个本地运行的大语言模型（LLM）工具平台，允许用户在本地设备上运行和管理大模型，而无需依赖云服务。它支持多种开源模型，并提供了用户友好的接口，非常适合开发者和企业使用。

安装 Ollama

首先，从 Ollama 官网下载安装包，并按照提示完成安装。

启动Ollama

Windows下搜索ollama，然后点击启动

Ollama 命令介绍

Ollama 提供了几个简单易用的命令，基本功能如下：

Usage:  
  ollama [flags]  
  ollama [command]  
  
Available Commands:  
  serve       启动 Ollama 服务  
  create      从 Modelfile 创建一个模型  
  show        查看模型详细信息  
  run         运行一个模型  
  stop        停止正在运行的模型  
  pull        从注册表拉取一个模型  
  push        将一个模型推送到注册表  
  list        列出所有可用的模型  
  ps          列出当前正在运行的模型  
cp          复制一个模型  
rm          删除一个模型  
help        获取关于任何命令的帮助信息  
  
Flags:  
  -h, --help      helpfor ollama  
  -v, --version   Show version information

拉取模型并运行

ollama pull 具体的模型，这里以deepseek为例

1. 选择模型

2. 搜索你想要的模型：比如 deepseek，qwen

3. 选择你的模型

1. 选择模型大小

2. 复制下载指令，替换为下面，并在终端中执行

ollama pull  deepseek-r1:14b

运行模型并对话，–verbose参数可以显示token信息

ollama run deepseek-r1:14b --verbose

信息如下：

资源占用情况：

退出对话

/bye

运行ollama远程服务

ENV OLLAMA_HOST=0.0.0.0:11434 ollama serve

2 RAGFlowj简介 https://ragflow.io

RAGFlow 是一款基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。它主要适用于需要动态生成内容且依赖外部知识库的场景，例如智能客服、文档生成、数据分析等。

RAGFlow的安装和部署

📝前置条件

CPU ≥ 4 cores (x86);
RAM ≥ 16 GB;
Disk ≥ 50 GB;
Docker ≥ 24.0.0 & Docker Compose ≥ v2.26.1.

如果你并没有在本机安装 Docker（Windows、Mac，或者 Linux）, 可以参考文档 Install Docker Engine 自行安装。

🚀 启动服务器

确保 vm.max_map_count 不小于 262144：
如需确认 vm.max_map_count 的大小：
```
$ sysctl vm.max_map_count  
```
如果 vm.max_map_count 的值小于 262144，可以进行重置：
```
# 这里我们设为 262144:  
$ sudo sysctl -w vm.max_map_count=262144  
```
你的改动会在下次系统重启时被重置。如果希望做永久改动，还需要在 /etc/sysctl.conf 文件里把 vm.max_map_count 的值再相应更新一遍：
```
vm.max_map_count=262144  
```

克隆仓库：

$ git clone https://github.com/infiniflow/ragflow.git

进入 docker 文件夹，利用提前编译好的 Docker 镜像启动服务器：

请在运行 docker compose 启动服务之前先更新 docker/.env 文件内的 RAGFLOW_IMAGE 变量。比如，你可以通过设置 RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0 来下载 RAGFlow 镜像的 v0.16.0 完整发行版。

镜像比较大，需要留足磁盘空间，另外docker下载需要自备科学上网方式，否则有些镜像拉取不下来

$ cd ragflow  
$ docker compose -f docker/docker-compose-CN.yml up -d

服务器启动成功后再次确认服务器状态：

$ docker logs -f ragflow-server

出现以下界面提示说明服务器启动成功：

     ____   ___    ______ ______ __  
    / __ \ /   |  / ____// ____// /____  _      __  
   / /_/ // /| | / / __ / /_   / // __ \| | /| / /  
  / _, _// ___ |/ /_/ // __/  / // /_/ /| |/ |/ /  
 /_/ |_|/_/  |_|\____//_/    /_/ \____/ |__/|__/  
  
 * Running on all addresses (0.0.0.0)  
 * Running on http://127.0.0.1:9380  
 * Running on http://x.x.x.x:9380  
 INFO:werkzeug:Press CTRL+C to quit

如果您跳过这一步系统确认步骤就登录 RAGFlow，你的浏览器有可能会提示 network anormal 或 网络异常，因为 RAGFlow 可能并未完全启动成功。

在你的浏览器中输入你的服务器对应的 IP 地址并登录 RAGFlow。

上面这个例子中，您只需输入 http://IP_OF_YOUR_MACHINE 即可：未改动过配置则无需输入端口（默认的 HTTP 服务端口 80）。

注册登录

在上图的界面中注册，然后登录就来到下面这个页面了

配置 Ollama 连接大模型

如下图我们先配置模型，点击右上角头像，再点击模型提供商
接着我们在 RagFlow 中配置模型，注意由于 RagFlow 是在 docker 中安装的，所以请求本地部署的 Ollama 地址要用：host.docker.internal:11434，如果docker在局域网其他服务器上，则直接填写局域网http://局域网ip:11434

1. 选择模型提供商

2. 选择ollama

通过命令获取ollama模型列表

ollama list

最终信息填写如下：

创建知识库

接下来我们就可以创建知识库了

1. 选择知识库

2. 创建知识库

输入知识库名字

配置知识库属性

1 选择文档语言

2 如果下载是全量的RAGFlow镜像，会带有嵌入模型，可以按图中选择；另外也可以添加自定的嵌入模型，方法同前面的模型提供商设置

其他的选项，根据你的情况自行设置就好，很简单

添加私有文档

1. 选择数据集

2. 点击新建文件

3. 上传本地文档

解析文档

看下下面状态，说明文档解析完成

开启聊天

接着就到了展示成果的时候了，我们可以根据自己的知识库与模型进行自然语言交互了。

1. 选择聊天

2. 创建聊天助理

3. 填写助理名字：比如张三

4. 选择刚才创建的知识库

配置聊天模型，如下：

首先注意，在聊天配置中要把 token 设置大一些，不然回复的内容会很少！我这里把它拉到最大值了。

新建一个对话

数据验证

上面上传的文档是PDD的财务报表，截图中可以看到聊天内容召回了文档中的内容。

Agent功能

RAGFlow也支持agent功能，后面再进行探索

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述