【AI大模型】Ollama部署本地大模型DeepSeek-R1，交互界面Open-WebUI，RagFlow构建私有知识库

置顶 已于 2025-02-21 09:23:45 修改
阅读量4.1w 收藏 217
点赞数 257
文章标签： 人工智能
于 2025-02-11 05:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u014608435/article/details/145545048
版权

文章目录


在这里插入图片描述

个人主页：道友老李
欢迎加入社区：道友老李的学习社区

DeepSeek介绍

DeepSeek官网

DeepSeek（深度求索）是一家专注于实现通用人工智能（AGI）的中国科技公司，致力于通过技术探索与创新，推动智能技术的广泛应用。以下是其核心信息的概述：

公司背景

  • 成立时间：2023年（具体时间未公开披露）
  • 总部：中国杭州
  • 使命：通过AGI技术提升人类生产力，推动社会进步。
  • 愿景：成为全球AGI领域的领导者。

核心技术

  1. 大语言模型（LLM）

    • 自主研发高性能基座模型（如DeepSeek-R1、DeepSeek-R2），支持长文本理解、复杂推理和多语言处理。
    • 模型参数量覆盖数十亿至千亿级，平衡性能与计算效率。

  2. 多模态AI

    • 整合文本、图像、语音等多模态数据，开发跨模态理解与生成能力。

  3. 搜索增强技术

    • 结合搜索引擎实时数据，提升模型在知识更新与事实准确性上的表现。

产品与服务

  • 通用大模型：面向开发者的开放API（如DeepSeek API），支持文本生成、代码编写等任务。
  • 行业定制模型：针对金融、医疗、教育等领域提供垂直场景优化方案。
  • 企业级平台：提供模型训练、部署及管理的全流程工具链（如Fine-tuning平台）。
  • 开源社区：部分模型和技术开源，促进开发者协作（如发布轻量版模型）。

应用场景

  • 智能客服：自动化应答与客户意图分析。
  • 内容生成：营销文案、代码、报告等自动化创作。
  • 数据分析：从非结构化数据中提取洞察，辅助决策。
  • 教育：个性化学习助手与智能题库生成。

优势与特点

  • 技术领先：模型性能在多项基准测试（如MMLU、HumanEval）中位居前列。
  • 场景深耕：聚焦企业级需求，提供高可用的行业解决方案。
  • 生态合作：与云计算厂商、硬件供应商及高校建立联合实验室。

访问与体验

  • 官网提供在线体验入口（如Chat界面）和开发者文档。
  • 部分模型可通过Hugging Face、GitHub等平台获取。

如需更详细的技术参数、商业合作或最新动态，建议访问其官方网站或查阅官方发布的白皮书。

各个DeepSeek-R系列模型的硬件需求和适用场景

在这里插入图片描述
我的电脑配置：
在这里插入图片描述
可以跑7b和14b

Ollama

ollama search

Ollama 是一个开源的 AI 推理框架，专注于模型压缩和部署。它的目标是帮助用户在本地或边缘设备上高效运行大型语言模型（LLM），通过量化和其他技术显著减少模型大小，同时保持高性能。

主要特点

  1. 模型压缩与优化：

    • Ollama 提供了多种模型压缩技术，如 4-bit 和 8-bit 量化，使大模型能够在低资源环境下运行。
    • 支持主流语言模型（如 LLaMA、Vicuna 等）的适配和部署。

  2. 高性能推理：

    • Ollama 能够在本地设备上实现低延迟、高吞吐量的推理，适合实时应用。

  3. 易于部署：

    • 提供简洁的命令行界面（CLI），用户可以轻松下载模型、调整参数并运行推理服务。
    • 支持 Docker 部署，便于在云服务器或边缘设备上快速搭建。

  4. 社区驱动：

    • Ollama 是一个开源项目，依赖于活跃的社区支持，用户可以根据需求贡献和改进功能。

优势

  • 轻量化：通过量化技术显著降低模型大小，适合资源受限的环境。
  • 高性能：优化了推理速度，能够在本地快速响应。
  • 灵活性：支持多种模型格式和后端（如 GGML、TensorRT 等）。
  • 易于上手：用户无需复杂的配置即可开始使用。

应用场景

  1. 本地开发与实验：

    • 开发者可以轻松在本地运行 LLM，用于快速测试和原型设计。

  2. 边缘计算：

    • 在边缘设备（如 Raspberry Pi）上部署轻量级 AI 服务。

  3. 实时推理服务：

    • 快速搭建支持多语言模型的推理服务器，满足企业或个人需求。

  4. 教育与研究：

    • 提供了一个易于使用的工具，适合教学和研究场景。

安装和使用

国内下载：Ollama下载

  1. 打开cmd控制台，输入：

    ollama

    可以看到帮助命令
    在这里插入图片描述

  2. 下载模型（以 DeepSeek-R系列为例）：

    ollama pull deepseek-r1:1.5b

  3. 启动推理服务：

    ollama serve --port 11434

  4. 运行模型：

     ollama run deepseek-r1:1.5b

可以开始对话了。

配置环境变量

在这里插入图片描述
OLLAMA_MODELS 是修改OLLAMA下载的模型存储位置，默认是在C盘

总结

Ollama 是一个强大的工具，旨在简化大型语言模型的部署和推理过程。它通过模型压缩和优化技术，使得在本地或边缘设备上运行 AI 模型变得高效且易于管理。无论是开发者、研究人员还是企业用户，Ollama 都能提供灵活和支持，满足多种应用场景的需求。

安装open-webui

下载和安装docker desktop

官网地址：Docker Desktop
在这里插入图片描述

GitHub地址：Docker Desktop

在这里插入图片描述

配置镜像源

在这里插入图片描述
第一个是阿里云的镜像源，可登录阿里云平台查看

"registry-mirrors": [
    "https://${阿里云的}.mirror.aliyuncs.com",
    "https://docker.m.daocloud.io",
    "https://mirror.baidubce.com",
    "https://docker.nju.edu.cn",
    "https://mirror.iscas.ac.cn"
  ]

安装open-webui

搜索open-webui
在这里插入图片描述
在这里插入图片描述
我这里已经安装过了。

运行和使用

在容器中运行open-webui，然后浏览器输入http://localhost:3000
在这里插入图片描述
进入设置
在这里插入图片描述
配置Ollama地址
在这里插入图片描述
配置好后，保存，正常的情况下，界面就会显示Ollama中已下载好的模型了
在这里插入图片描述
完成！可以开始对话了！

RagFlow介绍

RagFlow 是一个基于大语言模型的流程自动化工具，旨在帮助用户通过自然语言处理（NLP）技术来自动化和优化工作流程。它结合了先进的AI技术和直观的用户界面，使得非技术人员也能轻松实现流程自动化。

主要功能

  1. 智能对话交互：用户可以通过与RagFlow进行自然语言对话，定义、管理和优化各种工作流程。
  2. 任务自动化：支持多种任务类型，如数据处理、信息提取、报告生成等，帮助用户自动完成重复性工作。
  3. 跨系统集成：能够与主流的第三方服务（如Slack、Jira、Google Drive等）无缝集成，实现不同系统的数据流动和协同工作。
  4. 动态流程调整：根据实时数据和上下文环境，智能调整工作流程，确保流程始终高效运行。
  5. 可扩展性：支持大规模业务需求，适用于从个人到企业的各种场景。

适用场景

  • 企业流程优化：帮助企业在销售、 marketing、客服等环节实现自动化，提升效率。
  • 个人任务管理：用户可以通过RagFlow自动化个人日常任务，如行程安排、邮件处理等。
  • 数据整合与分析：通过自动化数据收集和处理，支持更高效的决策制定。

优势

  • 易用性：无需编程知识，用户即可快速上手。
  • 灵活性：支持定制化需求，满足不同用户的个性化要求。
  • 高效性：利用AI技术提升流程执行效率，减少人工干预。

RagFlow 通过将复杂的流程自动化转化为简单的对话交互，极大地提升了工作效率和用户体验。如果你有具体的使用场景或问题，可以进一步探讨如何利用RagFlow来优化你的工作流程！

下载及安装

  1. 从github上下载 ragflow或直接：
git clone https://github.com/infiniflow/ragflow.git
  1. 运行脚本：进入docker 文件夹，利用提前编译好的 Docker 镜像启动服务器
docker compose -f docker-compose-CN.yml up -d

这个过程会很慢，成功后，会自动运行容器中的服务：
在这里插入图片描述
浏览器上输入：http://localhost
在这里插入图片描述
第一个注册的账号就是管理员，登录成功
在这里插入图片描述

私有知识库

1. 模型供应商配置

点击头像，进入模型供应商配置
在这里插入图片描述
选择下面列表中的Ollama，然后进行模型配置
在这里插入图片描述
模型名称就是Ollama中下载的模型名称

2. 创建知识库

在这里插入图片描述
解析方法改成General，其他默认即可
在这里插入图片描述

3. 创建数据集

在这里插入图片描述
新增本地文件
在这里插入图片描述
执行解析，等待解析完成
在这里插入图片描述
在这里插入图片描述

4. 创建助理和对话

切换到聊天页，新建助理，选择知识库
在这里插入图片描述

切换到模型设置，调整一下最大token数
在这里插入图片描述
新建聊天，开始对话
在这里插入图片描述

【实战篇】【零代码也能玩转AI！手把手教你用Ollama本地部署DeepSeek（保姆级教程） 】
再见孙悟空的专栏
03-19 320
创建专属文件夹编写Modelfile配置文件在文件夹内新建「Modelfile」文件（用记事本即可），写入：FROM deepseek-ai/deepseek-R1:latestPARAMETER temperature 0.7 # 控制回答创意度（0=保守，1=天马行空）PARAMETER num_ctx 4096 # 支持4K上下文记忆执行部署命令。
详细！离线部署大模型：ollama+deepseek+open-webui安装使用方法及常见问题解决
02-20 787
通过以上内容，我们了解了 ollama 在国内环境下的安装使用方法，并介绍了因为国内网络特色导致安装过程可能会遇到的常见问题及解决办法。希望这些内容对你有所帮助，如果你有任何问题或建议，欢迎在评论区留言交流。• ollama 官方站：https://ollama.com• ollama 中文站：https://ollama.org.cn• ollama 入门：https://ollama.readthedocs.io/quickstart/
大模型本地部署指南：deepseek-r1参数配置、环境搭建及docker部署教程
02-07
内容概要：这份文档提供了详细的步骤用于指导用户在当地设备上安装和配置大型语言模型 deepseek-r1。 适用人群：面向有一定计算机技能的技术人员或深度学习爱好者，尤其是那些有兴趣于私有环境中构建和使用高性能AI解决方案的人群。 使用场景及目标：帮助用户掌握如何选择适当的硬件规格来适配不同规模的大模型运算需求，学会在Windows操作系统环境下快速搭建AI应用服务平台 其他说明：此文档虽然针对特定模型提供了详尽的部署流程，但是它强调的不仅仅是简单的软件安装指南，更是为用户展示了一个完整的技术栈概念——从基础设施建设开始直至最终应用程序的上线部署过程都得到了覆盖。因此，在学习的过程中不仅要注意每一步骤的实际操作，更要理解整个架构背后的工作原理。此外，请注意由于涉及到一些底层命令行指令及复杂的文件修改工作，因此建议用户按照文档提供的指示谨慎行事。
ollama 部署 deepseek-r1 70B 模型完整指南.pdf
02-10
ollama 部署 deepseek-r1 70B 模型完整指南.pdf
私有AI对话系统实战：基于Ollama+OpenWebUI的DeepSeek-R1本地化部署手把手教学（可共享访问）
qq_32358423的博客
02-16 1885
零代码实战：基于Ollama+OpenWebUI的DeepSeek-R1本地化部署指南！ 5步搭建私有AI对话系统，安全、高效、可定制！
常见本地大模型个人知识库工具部署、微调及对比选型，非常详细收藏我这一篇就够了！
2401_84495872的博客
02-12 5157
由于作者的眼界、精力和能力也有限，并且确实也不是专业的AI研究员，仅仅是一位兴趣使然的爱好者，这里列出的几款也单纯只是作者平常关注到的，所以可能也不全，请各位见谅！
OpenWebUI，RAG+外部知识库+AI写文的开源应用
热门推荐
sunsky89757的博客
11-11 2万+
OpenWebUI是一个可以通过RAG技术引入外部知识库并结合AI写文章的开源程序，当然它的功能并不局限于此，本文将带你尽可能多的了解这个开源程序的强大功能。
【LLM】五、open-webui+ollama搭建自己的RAG服务
qq_55068938的博客
07-31 1万+
往期文章中，已经讲解了如何用ollama部署本地模型，并通过open-webui来部署自己的聊天机器人，同时也简单介绍了RAG的工作流程，本篇文章将会基于之前的内容来搭建自己的RAG服务，正文开始。
一文对比RAGFLOW和Open WebUI【使用场景参考】
weixin_47782004的博客
03-07 1063
RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。是一个可扩展、功能丰富且用户友好的自托管 AI 平台，旨在完全离线运行。它支持各种 LLM 运行器，如 Ollama 和 OpenAI 兼容的 API，并内置了 RAG 推理引擎，使其成为强大的 AI 部署解决方案。四、知识库内容召回对比。
Open-Webui和RAGFlow无法加载ollama模型
zxw的博客
05-08 4972
【代码】Open-Webui和RAGFlow无法加载ollama模型。
大模型AI应用系统Dify,RAGFlow,MaxKB,FastGPT,OpenWebUI详细对比
最新发布
awei0916的专栏
03-20 1694
企业知识管理：MaxKB（知识图谱 + 权限管理）或 FastGPT（轻量级 RAG 构建）。深度文档问答：RAGFlow（灵活检索逻辑）。AI 应用开发：Dify（全流程开发）或 FastGPT（RAG 流程编排）。模型部署与测试：OpenWebUI（本地即开即用）。
基于Ollama安装deepseek-r1模型搭建本地知识库（Dify、MaxKb、Open-WebUi、AnythingLLM、RAGFlow、FastGPT）
m0_56363537的博客
02-12 3280
本实验主要使用win系统安装ollama部署deepseek-r1（1.5b、7b、8b、14b、32b等参数）并搭建配置Web UI工具和本地知识库（Dify、MaxKb、Open-WebUi、AnythingLLM、RAGFlow）
离线部署大模型：ollama+deepseek+open-webui
呱牛 Just do IT
02-20 1557
ollama 是一个开源的本地大语言模型运行框架，它提供了非常简单便捷的使用形式，让用户可以十分方便的在本地机器上部署和运行大型语言模型，从而实现免费离线的方式使用 LLM 能力，并确保私有数据的隐私和安全性。
操作教程丨使用1Panel开源面板快速部署DeepSeek-R1
FIT2CLOUD飞致云的博客
02-10 1113
通过1Panel的应用商店能够简单、快速地在本地部署DeepSeek-R1模型。
2024年十大开源RAG框架
m0_59164304的博客
10-26 2290
检索增强生成（RAG）已成为增强大型语言模型能力的一项强大技术。RAG框架结合了基于检索系统的优点与生成模型的优势，能够提供更准确、更具上下文感知能力以及更及时的响应。随着对复杂AI解决方案的需求增长，许多开源的RAG框架在GitHub上涌现，每个框架都提供了独特的功能和能力。检索增强生成（RAG）是一种人工智能框架，通过整合外部知识源来增强大型语言模型（LLM）的能力。RAG通过从知识库中检索相关信息并利用这些信息来增强LLM的输入，从而使得模型能够生成更准确、更及时且更符合上下文的相关响应。
一文详解几种常见本地大模型个人知识库工具部署、微调及对比选型
python123456_的博客
08-16 1万+
由于作者的眼界、精力和能力也有限，并且确实也不是专业的AI研究员，仅仅是一位兴趣使然的爱好者，这里列出的几款也单纯只是作者平常关注到的，所以可能也不全，请各位见谅！
deepseek本地部署+open-webui+ngrok搭建微服务(Linux)
yangtengze的博客
02-07 1026
本地部署的deepseek-r1:32b(ollama)+open-webui+ngrok
开源RAG框架汇总
深度学习机器
05-11 6626
本文搜集了一些开源的基于LLM的RAG（Retrieval-Augmented Generation）框架
ragflow sql
01-11
### RAGFlow SQL 实现及其在数据处理管道中的应用 #### 数据处理管道概述 数据处理管道是指一系列用于收集、转换和加载（ETL）数据的过程，这些过程可以自动化执行并监控。为了确保高效的数据集成任务调度与监控，编排工具发挥了重要作用[^1]。 #### RAGFlow 架构设计 RAGFlow 是一种特定架构模式，在此上下文中指代基于请求-聚合-生成流的工作流程框架。该框架允许通过定义良好的接口来操作数据库资源，并支持多种存储后端，包括关系型数据库管理系统(RDBMS)，如MySQL、PostgreSQL等。 对于涉及SQL的操作而言，RAGFlow 可以利用ORM(Object Relational Mapping)库简化查询构建逻辑；同时也可以直接编写原生SQL语句来进行复杂查询优化： ```sql SELECT t1.id, t2.name FROM table_one AS t1 JOIN table_two AS t2 ON t1.foreign_key = t2.id WHERE condition; ``` 这种灵活性使得开发者能够在不同场景下选择最适合的方式完成任务需求。 #### 集成到现有工作流中 当考虑将上述功能融入现有的CI/CD流水线或其他持续交付环境中时，可借助Apache Airflow这样的开源平台进行管理。Airflow不仅能够安排周期性的ETL作业，还提供了丰富的API接口以便与其他服务交互，从而实现更复杂的业务逻辑控制。 此外，如果涉及到批处理大量结构化文件，则可能需要用到像Hadoop Pig这样的脚本语言配合Spring Integration创建高效的ELT(Extract Load Transform)管线[^2]。这种方式特别适合于那些需要频繁更新且规模较大的数据分析项目。 最后值得注意的是，在某些情况下，可能会遇到求解约束满足问题的需求——这时就可以引入Choco Solver这类专门针对此类难题而开发出来的Java库[^3]。它可以帮助快速找到符合条件的结果集，进而辅助决策制定过程。
评论 148
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

道友老李

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值