Mac本地部署DeepSeek-r1&如何设置文档知识库

已于 2025-02-24 09:33:37 修改
阅读量1.2k 收藏 21
点赞数 8
分类专栏： AI 文章标签： deepseek
于 2025-02-23 21:31:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bobo789456123/article/details/145811831
版权

一、安装DeepSeek

1.1 安装ollama模型管理器

  • ollama官网下载安装包：https://ollama.com/
    在这里插入图片描述

  • 看到mac右上方工具图标出现小羊驼，表示ollama已经安装成功。
    在这里插入图片描述

2.2 安装DeepSeek

  • 打开终端，输入命令：ollama run deepseek-r1:1.5b，即可自动安装。这里选择了1.5b的小模型。
    在这里插入图片描述- DeepSeek一共提供了6套蒸馏小模型，如下图所示。
    在这里插入图片描述

  • 整理了不同模型对机器硬件要求清单：
    在这里插入图片描述

  • 安装完成后，就可以直接在终端中和模型对话，如图：
    在这里插入图片描述

三、安装AnythingLLM对话终端

为了更好的和模型对话，我们在本地安装AnythingLLM。

  • 进入官网下载：AnythingLLM
    在这里插入图片描述

  • 安装
    在这里插入图片描述

  • 安装完成后，启动运行，在初始化界面点击【开始】按钮
    在这里插入图片描述

  • 选择ollama模型容器，并选择已经下载好的1.5b模型。点击右侧箭头进入下一步。
    在这里插入图片描述

  • 这个界面告诉你数据都给了谁，这里都是运行在本地。继续下一步
    在这里插入图片描述

  • 这里不登录，直接跳过
    在这里插入图片描述

  • 设置工作区
    在这里插入图片描述

到这里就基本全部都设置完成了，进入正常的聊天界面。
在这里插入图片描述

  • 点击小扳手，设置软件语言为中文。然后点击左下角的返回按钮，返回主界面。
    在这里插入图片描述

  • 然后就可以和AnythingLLM正常对话，如图：
    在这里插入图片描述

四、如何设置自定义指令

1.1 进入指令设置界面

在这里插入图片描述

1.2 设置一个旅游推荐指令

在这里插入图片描述

这是 Ollama 软件中添加新预设（preset）的界面，各部分作用如下：

  • Command：用于输入自定义的命令，比如输入 “/poem” 来快速调用相关功能。
  • Prompt：此处填写的内容会在用户实际输入的提示词前被注入，用于限定模型输出的方向，比如可以写 “以春天为主题，用抒情的风格创作”。
  • Description：对这个预设功能的描述，方便用户识别， 如示例中的 “Responds with a poem about LLMs”，意思是 “回复一首关于大语言模型（LLMs）的诗”。

如果要添加一个让模型写一篇关于旅游攻略的预设：

  • Command：输入 /travelguide
  • Prompt：输入 “请写一篇详细的 [目的地名称] 旅游攻略，内容包含景点介绍、美食推荐和住宿建议”
  • Description：输入 “生成指定目的地的旅游攻略” ，然后点击 “Save” 保存预设。

1.3 使用

在完成上述配置后，在此输入/时，会自动弹出预设的指令供选择
在这里插入图片描述

输入/travelguide 常州，会自动给出常州这座城市的旅游推荐。
在这里插入图片描述

四、文档知识库

在和AI对话过程中，我们有时需要依赖一个文档作为聊天背景上下文，这时候需要AI提前识别文档，作为上下文，然后在继续进行对话，提供更准确的回答。
理解文档，我们需要找Embeddings Basics类型的模型，它负责将你上传的文件拆分成块，转化成AI能理解和调用的形式。这类模型很多，这里我们选择bg3-m3的模型，它支持100中语言。

1.1 安装

ollama pull bge-m3

在这里插入图片描述

1.2 创建工作区

下载成功后，我们新建一个工作区：文档知识库，专门用来对文档做提问解答。
在这里插入图片描述

然后还是点击小扳手进入设置页面，需要配置【Embedder首选项】为ollama中的gbe-m3
在这里插入图片描述

然后对工作区进行设置，切换为【查询】聊天模式，这样就不会给【幻觉】答案，只会提供文档中搜索到的答案。
在这里插入图片描述

然后把我们的文档上传到工作区
在这里插入图片描述
在这里插入图片描述

这时候我们再提问时，AI会自动去上传的文档中搜索答案。例如提问：有效提问的五个⻩⾦法则 是什么？

【手把手】DeepSeek-R1本地部署：从零到API调用
chuweiyan的博客
02-01 5983
DeepSeek-R1 是 DeepSeek 研发的系列推理模型，2025 年 1 月 20 日，DeepSeek 正式发布 DeepSeek-R1 模型，并同步开源模型权重，且推出了 API 服务。
如何在个人电脑本地化部署Deepseek-R1大模型
program哲学
02-12 1479
本文主要介绍如何在个人电脑本地部署deepseek r1大模型，同时扩展了deepseek介绍、满血版DeepR1使用方式等内容
Ollama完整教程：本地LLM管理、WebUI对话、Python/Java客户端API应用
老牛啊
07-10 1万+
Ollama可以非常方便的管理和部署我们本地大语言模型，老牛同学希望通过本文对Ollama进行一次详细介绍，包括本地大模型管理和使用、WebUI对话界面部署、通过Python和Java使用Ollama的API接口等……
没有废话，五分钟实现DeepSeek-r1本地化部署+2款UI界面安装
DEVELOPERAA的博客
02-05 7056
今天就和大家说一下，如何进行本地化部署DeepSeek，本次选择的平台为mac版本。没有废话，直接上干货！
Ollama: LLM私有化部署工具（附教程）
最新发布
瓦罗兰特顶级C位的博客
03-25 964
Ollama: LLM私有化部署工具（附教程）
一文彻底整明白，基于Ollama工具的LLM大语言模型Web可视化对话机器人部署指南
老牛啊
05-18 1万+
在上一篇博文中，我们在本地部署了**Llama 3 8B**参数大模型，并用 Python 写了一个控制台对话客户端，基本能愉快的与 Llama 大模型对话聊天了。但控制台总归太技术化，体验不是很友好，我们希望能有个类似 ChatGPT 那样的 Web 聊天对话界面，本博文就安排起来……
使用ollama在本地部署llama3-8b大模型
weixin_39945822的博客
06-15 1万+
使用ollama在本地部署llama3-8b大模型
零基础入门AI：一键本地运行各种开源大语言模型 - Ollama
2401_84495725的博客
05-09 1592
Ollama 是一个可以在本地部署和管理开源大语言模型的框架，由于它极大的简化了开源大语言模型的安装和配置细节，一经推出就广受好评，目前已在github上获得了46k star。不管是著名的羊驼系列，还是最新的AI新贵Mistral，等等各种开源大语言模型，都可以用Ollama实现一键安装并运行，支持的更多模型的列表可以查看Ollama官网。本文就让我们一起入门Ollama。
本地部署DeepSeek大模型
weixin_40001694的博客
02-04 8132
最近DeepSeek大火，本文将尝试将其部署至本地，大致部署路径：准备电脑-部署Ollama-部署DeepSeek R1模型硬件型号CPUi5-13490F内存32GB显卡AMD RX6800 （16GB显存）硬盘1TB SSD提示：以下是本篇文章正文内容，下面案例可供参考。
DeepSeek-R1最佳本地部署+知识库+联网搜索（2个安装包1条命令搞定）.pdf
02-10
为了实现DeepSeek-R1的本地部署，用户需要遵循一系列简单步骤，首先需要下载并安装两个关键组件：Ollama...DeepSeek-R1的部署不仅解决了服务器繁忙的问题，还为用户提供了一个高效、便捷的本地搜索与知识库解决方案。
5 分钟用满血 DeepSeek R1 搭建个人 AI 知识库（含本地部署）
热门推荐
Jay的个人博客
02-04 6万+
备注：评论区回复“DeepSeek”，免费领取万字DeepSeek指南。看到这里，相信你已经找到最适合自己的 DeepSeek 个人知识库方案了。如果你和大多数人一样，选择使用官方 API ，那就不用再为性能和本地硬件资源发愁；如果你恰好有充足的算力和技术储备，本地部署也是个不错的选择。不过，在整个过程中，我想和你分享的不仅仅是这些技术细节。而是一个中国团队能做出世界级大模型，一个需要 +86 才能注册的大模型。很庆幸，我们能作为中国 AI 技术进步的见证人。当然，暂时的领先不是终点。
小白也能使用 DeepSeek-R1 模型 （包含解决DeepSee R1 卡顿问题）
02-11 2750
相信大家这个春节被各种 DeepSeek R1 的横空出世给刷屏了，导致 DeepSeek 官网一度卡死，出现这样的情况。通过官网的介绍，DeepSeek-R1 在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩 OpenAI o1 正式版。并且把 DeepSeek-R1 训练技术全部公开，以期促进技术社区的充分交流与创新协作。可谓真的是“国产之光”。当然根据官网介绍，在。
ollama 安装
zengliguang的专栏
11-27 7653
以上是不同操作系统下Ollama的安装步骤，希望对您有所帮助。如果在安装过程中遇到任何问题，可以参考Ollama的官方文档或社区资源进行故障排查。
ollama 部署教程（window、linux）
Good Luck
09-23 2万+
ollama run # 运行模型，会先自动下载模型。ollama pull # 从注册仓库中拉取模型。ollama create # 从模型文件创建模型。ollama list # 列出已下载模型。ollama ps # 列出正在运行的模型。ollama serve # 启动ollama。这里我们运行一个要求最小的0.5B的qwen模型。ollama cp # 复制模型。ollama rm # 删除模型。
使用Ollama本地部署大模型
Love&Share
01-25 1万+
是一个简明易用的本地大模型运行框架，目前已经有 32 K star。随着围绕着 Ollama 的生态走向前台，更多用户也可以方便地在自己电脑上玩转大模型了，使用 Ollama 本地部署大模型在 mac 上尤其简单。
区分LLaMA、llama.cpp和Ollama
weixin_42458975的博客
06-05 1万+
大模型本地部署遇到的三个概念，llama，ollama，llama.cpp。简单区分如下：llama 是一个Meta公司开源的预训练大型语言模型，llama.cpp用于加载和运行 LLaMA 语言模型。ollama是大模型运行框架，它利用了 llama.cpp 提供的底层功能。
Ollama：一个在本地部署、运行大型语言模型的工具
2401_84495725的博客
06-15 5948
所谓自定义模型就是不适用Ollama官方模型库中的模型，理论可以使用其他各类经过转换处理的模型Ollama库中的模型可以通过提示进行自定义。python复制代码FROM llama3 # 设置温度参数 PARAMETER temperature 1 # 设置SYSTEM 消息 SYSTEM """作为AI智能助手，你将竭尽所能为员工提供严谨和有帮助的答复。"""Modelfile文档One-API是一个OpenAI接口管理 & 分发系统，支持各类大模型。这里使用Docker快速进行部署。拉取镜像。
Windows下载安装Ollama
mry6的博客
02-07 6344
‌Ollama‌是一个开源工具，能够运行多种大型语言模型，如LLAMA、Qwen和Mistral等。它支持在本地部署，用户可以通过命令行与模型进行交互，并且可以通过Web界面进行调用。‌。
deepseek-r1企业知识库搭建mac电脑
02-28
### 安装和配置 DeepSeek R1 企业知识库 #### 准备工作 确保 Mac 已经安装 Docker，因为 DeepSeek 的部署依赖于 Docker 环境。可以通过 Homebrew 或者官方图形界面版进行安装。 对于 macOS 用户来说，推荐使用 Homebrew 进行软件包管理[^2]： ```bash /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" ``` 接着安装 Docker Desktop: ```bash brew install --cask docker ``` 启动并登录 Docker 后台服务，这是运行容器的前提条件。 #### 获取 DeepSeek 镜像 拉取最新的 DeepSeek R1 版本镜像文件到本地机器上。这一步骤会下载必要的组件以便后续操作能够顺利执行。 ```bash docker pull deepseekai/deepseek-r1:latest ``` #### 初始化环境变量 创建一个新的目录用于保存项目相关资料，并初始化 .env 文件设置特定参数比如端口映射、存储路径等信息。 ```bash mkdir ~/deepseek && cd $_ touch .env echo 'PORT=8080' >> .env echo 'DATA_PATH=./data' >> .env ``` 上述命令设置了 Web 访问端口号以及指定数据存放位置为当前文件夹下的 `data` 子目录内[^3]。 #### 构建与启动应用 编写简单的 compose.yaml 文档定义服务架构，之后借助此 YAML 文件一键式完成整个系统的编排与激活。 ```yaml version: '3' services: app: image: deepseekai/deepseek-r1 ports: - "${PORT}:80" volumes: - ${DATA_PATH}:/app/data env_file: - ./.env ``` 最后通过下面这条指令让一切变得简单起来！ ```bash docker-compose up -d ``` 此时应该可以在浏览器里输入 http://localhost:${设定好的端口}/ 查看已经成功上线的企业级 AI 助手平台了。 #### 测试连接性 打开网页验证是否能正常加载首页内容；如果遇到任何问题，请先查阅日志记录排查错误原因。 ```bash docker logs $(docker ps | grep deepseek-r1 | awk '{print $1}') ``` 以上就是在 MacOS 平台上快速建立一套属于自己的 DeepSeek R1 私有化知识管理系统的方法概述。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT飞牛

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值