牛啊!本地化搭建DeepSeek+RAGFlow,构建个人知识库!

最近DeepSeek异常火爆,我也积极的体验,研究它的API和模型,确实很Nice,搞私活真的很香,搭建个人的知识库也很爽!

今天继续给大家带来手把手的教学,本地化搭建DeepSeek+RAGFlow,构建个人知识库!

掌握了本文的方法, 你也可以在骚气的搭建个人知识库!


首先要说明下为啥要构建个人知识库呢?

在线版DeepSeek需要将数据传输到云端服务器处理,存在日志留存的可能,用户需要信任服务商的隐私政策。对于涉及敏感数据的场景,如金融、医疗等行业,数据隐私和合规性要求极高,在线版可能无法满足这些需求。

使用RAG技术(Retrieval-Augmented Generation,检索增强生成)构建个人知识库。本地部署RAG技术所需要的自带Embedding模型的开源框架RAGFlow。

下载地址:

https://github.com/infiniflow/ragflow

废话不多说,我们直接开始教学。

一,安装CUDA,显卡也能参与运算

在cmd窗口运行nvidia-smi查看CUDA版本号,然后下载相同版本的cuda toolkit就可以了,只能低于不能高于这个版本。解决ollama不在GPU上跑的问题。

下载地址:

https://developer.nvidia.com/cuda-toolkit-archive

img

img

nvcc --version检测安装了CUDA。

二,安装Ollama,用它来运行大模型

Ollama是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。

下载Ollama

环境变量设置:

变量名OLLAMA_HOST 变量值 0.0.0.0

变量名OLLAMA_MODELS,变量值E:\backup\software\ds\ollama

变量名OLLAMA_ORIGINS,变量值*

三,运行DeepSeek

deepseek-r1下载地址:

https://ollama.com/library/deepseek-r1

跑一下程序:

//小孟微信:fly996868ollama run deepseek-r1:1.5b

四,安装配置Docker

如果是苹果系统的话,选择苹果芯片Apple Silicon或因特尔芯片Intel chip的安装包下载。如果是Windows系统的话,在下面的网站直接下载:

https://docs.docker.com/desktop/setup/install/windows-install/

Step1: 下载后,双击Docker.dmg,直接拖拽到Applications文件夹即可完成安装

图片


Step2: 双击Docker.app就可以启动Docker DeskTop

``

图片

配置 Docker 镜像加速

修改 Docker 配置文件

先点击设置按钮,再点击此处:

图片

测试 & 验证

打开一个命令行窗口 cmd,输入如下命令,没有报错就是安装成功了。

# 查看版本
docker --version
# 下载demo镜像并启动容器
docker run hello-world

输出如下则安装成功:

ludynice % docker --version
Docker version 24.0.2, build cb74dfc

ludynice % docker run hello-world

Hello from Docker!
This message shows that your installation appears to be working correctly.

To generate this message, Docker took the following steps:
 1. The Docker client contacted the Docker daemon.
 2. The Docker daemon pulled the "hello-world" image from the Docker Hub.
    (arm64v8)
 3. The Docker daemon created a new container from that image which runs the
    executable that produces the output you are currently reading.
 4. The Docker daemon streamed that output to the Docker client, which sent it
    to your terminal.

To try something more ambitious, you can run an Ubuntu container with:
 $ docker run -it ubuntu bash

Share images, automate workflows, and more with a free Docker ID:
 https://hub.docker.com/

For more examples and ideas, visit:
 https://docs.docker.com/get-started/

测试无误后,就能够进行后续的docker和docker compose的操作了~

跟到这里你已经战胜了70%的人!

我们继续往下!

五,用RAGFlow构建个人助

1. 下载RAGFlow

RAGFlow我也给大家整理好了,直接下载。

2.确保 vm.max_map_count 不小于 262144

如需确认 vm.max_map_count 的大小:

sysctl vm.max_map_count

如果 vm.max_map_count 的值小于 262144,可以进行重置,这里我们设为 262144:

sudo sysctl -w vm.max_map_count=262144

你的改动会在下次系统重启时被重置。如果希望做永久改动,还需要在 /etc/sysctl.conf 文件里把 vm.max_map_count 的值再相应更新一遍:

vm.max_map_count=262144

3.切换到ragflow目录,执行

docker compose -f docker/docker-compose.yml up -d

以下命令是解决装坏了才要做的,正常不要做:

docker stop $(docker ps -q) # 停止所有正在运行的容器

docker rm $(docker ps -a -q) # 删除所有容器

docker rmi $(docker images -q) # 删除所有镜像

docker volume rm $(docker volume ls -q) # 删除所有卷

docker network prune # 清理未使用的网络

以下命令是切换到ragflow/docker目录,可以重新启动ragflow:

docker compose stop
docker compose up -d

4.服务器启动成功后再次确认服务器状态

docker logs -f ragflow-server

如果出现以下界面提示说明服务器启动成功,恭喜你!

____ _ ____ __ __

/ __ \ / | / ____// // / _ __

/ // // /| | / / __ / / / // __ | | /| / /

/ , _// ___ |/ // // _/ / // // /| |/ |/ /

// ||// ||_//*/ /*/ _*/ |/|*/

* Running on all addresses (0.0.0.0)

* Running on http://127.0.0.1:9380

* Running on http://x.x.x.x:9380

INFO:werkzeug:Press CTRL+C to quit

如果您跳过这一步系统确认步骤就登录 RAGFlow,你的浏览器有可能会提示 network anormal 或 网络异常,因为 RAGFlow 可能并未完全启动成功。

在你的浏览器中输入你的服务器对应的 IP 地址并登录 RAGFlow。

上面这个例子中,您只需输入 http://IP_OF_YOUR_MACHINE 即可:未改动过配置则无需输入端口(默认的 HTTP 服务端口 80)。

img

img

img

img

img

到此,你已经完成了个人知识库的搭建!你又变强了!

如何学习AI大模型?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高

那么我作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,希望可以帮助到更多学习大模型的人!至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费

👉 福利来袭优快云大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

read-normal-img

640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

👉学会后的收获:👈
基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

👉 福利来袭优快云大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈

img

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

### 关于 Deepseek、Ollama 和 Ragflow 的本地部署实施方案 #### Deepseek 本地部署概述 Deepseek 是一款专注于自然语言处理的知识库解决方案,支持高效的文档管理和语义搜索功能。对于希望构建私有知识管理系统的用户来说,Deepseek 提供了一套完整的工具链来帮助完成从数据采集到索引建立再到最终查询服务的一系列操作[^1]。 为了在本地环境中安装和配置 Deepseek: 1. **环境准备** - 安装 Docker 及其相关组件。 - 配置必要的网络设置以便容器间通信顺畅。 2. **拉取镜像与初始化数据库** 使用官方提供的命令下载最新版本的应用程序包,并按照指引创建初始结构化的存储空间用于保存后续导入的数据集。 3. **加载预训练模型** 根据具体应用场景选择合适的机器学习算法框架作为后台支撑力量,在此基础上加载已经过优化调整过的参数文件以加速新项目的开发周期。 4. **集成第三方API接口** 如果项目中有涉及到外部资源调用的需求,则可通过 RESTful 或 GraphQL 协议轻松对接各类公共服务平台所提供的 API 接口,从而扩展应用的功能边界。 5. **测试验证环节** 利用内置的压力测试工具模拟真实世界的并发访问情况,确保整个系统能够在高负载条件下稳定运行;同时也要注意定期备份重要资料以防意外丢失。 ```bash docker pull deepseek/latest docker run --name=deepseek-db -e POSTGRES_USER=user -e POSTGRES_PASSWORD=password -d postgres:latest ``` #### Ollama 本地部署指南 Ollama 致力于为企业提供一站式的AI驱动型知识管理系统,具备良好的可移植性和灵活性特点。通过简单的几行脚本即可快速搭建起一套基于云原生架构设计的服务集群,满足不同规模企业内部协作交流过程中所产生的多样化诉求。 针对想要自行托管实例的情况而言: - 下载适用于目标操作系统类型的二进制执行文件; - 修改默认配置项中的监听地址端口号等基本信息; - 启动主进程之前先检查依赖关系是否齐全; - 访问浏览器输入指定URL路径查看图形界面版控制面板; - 导入样例工程熟悉基本的操作流程之后再逐步引入实际生产环境里的素材内容进行加工整理。 ```jsonnet { "api": { "listen_addr": ":8080", "max_body_size_mb": 10, ... }, } ``` #### Ragflow 本地部署说明 Ragflow 特别适合那些寻求高级定制选项和技术深度的企业级客户群组,拥有出色的 RAG 引擎及工作流编排能力,可以应对更为复杂多变的任务场景要求[^2]。下面是一份简化后的部署手册摘要: ##### 准备阶段 - 确认硬件设施达标(CPU/GPU内存容量充足) - 获取授权许可密钥激活产品特性权限 - 设置 GitLab CI/CD 流水线自动化持续交付管道 ##### 执行步骤 - 构建基础镜像并推送至私有的 Harbor 私服仓库内待命 - 编写 Helm Chart 文件定义好各微服务之间的关联映射关系图谱 - 应用 YAML 清单描述符启动 K8S Pod 实例集合体形成分布式计算网格布局 - 登录 Web 控制台页面校验各项指标数值是否正常无误 ```shell helm install my-release ./ragflow-chart \ --set image.repository=my.harbor.repo/ragnaroek/ragflow-server \ --set image.tag=v1.0.0 \ -f values.yaml ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值