轻松在本地搭建DeepSeek:Ollama + deepseek-r1:7b + anythingLLM

最近家属有个需求,想用DeepSeek,但是DeepSeek在线版总是服务器繁忙,而且不具备知识库的能力。

家里正好有台电脑闲置,索性尝试了一下本地部署。

最后选择的是Ollama + deepseek-r1:7b + anythingLLM

Ollamadeepseek-r1:7banythingLLM
在这里插入图片描述在这里插入图片描述在这里插入图片描述

一共3步就可以

  1. 下载Ollama

下载地址:https://ollama.com/

首页有个Download按钮,直接点击下载就好,下载完成后解压安装即可。

  1. 本地安装deepseek-r1:7b模型
ollama run deepseek-r1:7b

其他参数不同的模型在这里可以选择:https://ollama.com/library/deepseek-r1

这个过程取决于家里的网络情况,网速好一般来说很快。

安装成功后是这样的:

 ollama run deepseek-r1:7b
pulling manifest 
pulling aabd4debf0c8... 100% ▕████████████████▏ 4.7 GB                         
pulling 369ca498f347... 100% ▕████████████████▏  387 B                         
pulling 6e4c38e1172f... 100% ▕████████████████▏ 1.1 KB                         
pulling f4d24e9138dd... 100% ▕████████████████▏  148 B                         
pulling a85fe2a2e58e... 100% ▕████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
success 
>>> Send a message (/? for help)

3. 下载anythingLLM并配置及创建知识库

下载地址:https://anythingllm.com/

首页有个Download for desktop,直接点击下载安装即可。

进入配置页面以后:
LLM provider选择Ollama,此时会自动扫描本地已经跑起来的大模型服务。
Ollama Model选择deepseek-r1:7b。

下一步就是创建知识库,anythingLLM上直接创建即可。
anythingLLM的工作区就是知识库,然后上传文档后,选入到右侧的工作区即可。

然后再点击创建一个Thread就可以开始聊天了。

最后再聊一下,对于前端开发的日常工作而言,本地知识库可以做什么:

  1. 比如有一些内部的组件库,这个信息在网上是没有的,因此可以创建一个知识库把这些组件库的文档收集起来,我最近刚实践过使用Puppteer+turndown+DeepSeek来提效使用内部组件库开发的后台页面,初步尝试下来效果还挺满意,虽然有微小的错误但大体上都是很正确的。
  2. 过去我们经常使用wiki文档来写技术文档,当需要搜索一些信息时,只能精准的匹配,比如输入一个关键词”markdown“,最后检索出来的结果就只有markdown,而接入大模型以后,它具备思维链的模式,它会把”md“,”Markdown“甚至markdown语法的内容都检索出来,这个完全是颠覆传统搜索模式的一个点。
  3. 除此以外,还可以将历史的前端技术方案文档进行汇总,以及针对性的撰写一些坑点文档作为养料,当团队成员遇到相似问题时,直接使用大模型进行检索,可以更加快速的解决问题。这比过去口口相传以及聊天咨询快多了。

deepseek-r1模型的开源,媒体大肆报道有故意宣传的嫌疑,但是用下来确实非常好用,我们之前有尝试将文档汇总,然后使用gpt-4来查询一些问题,回答得准确性不高,最初我们以为是文档写得太烂导致大模型无法正确理解,直到用了deepseek,才发现在中文理解能力方面,deepseek确实非常不错。原来一个成熟的大模型,会自动从编写的没那么完美的技术文档中,提炼出最有用的信息。

还有更多deepseek应用到前端开发以及日常生活和工作中的尝试,非常值得继续探索和挖掘!

### Ollama + DeepSeek-R1:32B + Docker + RAG Flow/Open WebUI 本地部署 #### 简介 DeepSeek是由阿里云推出的大型语言模型,而`DeepSeek-R1:32B`是指该系列的一个特定版本,拥有约320亿参数规模。为了方便用户使用这个强大的模型,可以通过Docker容器化技术以及RAG (Retrieval-Augmented Generation) 流程来进行本地环境下的快速部署。 #### 部署步骤概述 1. **安装Docker**:如果你还没有安装Docker的话,则需要先下载并按照官方指南完成其设置过程; - [Docker官网](https://www.docker.com/) 2. **获取镜像文件**: 使用Ollama提供的命令行工具或者直接从仓库拉取包含有预训练权重和其他必要组件的docker image ```bash docker pull ollama/deepseek-r1:32b # 假设这是正确的标签名称 ``` 3. **配置数据集与索引构建**: 对于想要增强生成结果准确性的场景来说,在启动之前还需要准备相应的文本资料库,并通过一些额外脚本创建搜索索引来支持检索增强功能(Retrieve Augment Generate)。 4. **运行Web UI服务端口映射等选项自定义** 根据个人需求调整命令参数如开放HTTP访问地址、设定内存限制等等。 ```bash docker run --name my_deepseek_webui -p 7860:7860 ollama/deepseek-webui:latest ``` 5. **打开浏览器连接至localhost指定端口号即可开始体验** 以上即是在个人电脑上搭建基于ollama平台发布的deepseek大模型加web界面交互的整体流程简介。 --- 需要注意的是实际操作过程中可能会遇到各种问题比如依赖项冲突或者是硬件资源不足等问题,建议参考具体产品的文档说明进一步排查解决办法。 --
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

趁你还年轻233

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值