【DeepSeek青桔系列】Ollama + AnythingLLM快速且简单的在部署DeepSeek

已于 2025-03-26 09:17:44 修改
阅读量880 收藏 21
点赞数 17
分类专栏： DeepSeeK 文章标签： DeepSeek Ollama AnythingLLM
于 2025-03-26 09:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/charry0110/article/details/146511989
版权

博主介绍： 大家好，我是想成为Super的Yuperman，互联网宇宙厂经验，17年医疗健康行业的码拉松奔跑者，曾担任技术专家、架构师、研发总监负责和主导多个应用架构。

近期专注： DeepSeek应用，RPA应用研究，主流厂商产品使用，开源RPA 应用等

技术范围： 长期专注java体系，软件架构，DDD，多年Golang、.Net、Oracle等经验

业务范围： 对传统业务应用技术转型，从数字医院到区域医疗，从院内业务系统到互联网医院及健康服务，从公立医院到私立医院都有一些经历及理解

***  为大家分享一些思考与积累，欢迎持续关注公众号：【火星求索】 ***

AnythingLLM 不仅仅是另一个聊天机器人。它是一个全栈应用程序，这意味着它融合了从数据处理到用户界面的所有技术优势。最好的部分？它是开源且可定制的。这意味着如果您有技能，您可以根据自己的喜好进行调整。或者，如果您像我一样更喜欢现成的东西，那么它开箱即用，效果非常好。

AnythingLLM 更专注于文档知识库与问答场景，自带向量检索管理，可“多文档整合”，接入 Ollama 后实现本地化问答。

一、安装ollama

ollama官网：Ollama
下载地址：Download Ollama on macOS

打开以后注册并下载即可

image

安装没有什么好说的，找到自己的系统安装即可，因为我的电脑没有搞虚拟机，所以就直接安装Windows的版本了

二、下载模型并运行ollama

安装ollama以后，通过管理员打开powershell

输入ollama，只要出现下面这些，说明安装成功了

image

打开ollama的模型的网页：library

image

我们以llm3为例，双击进入

image

常用的命令有

  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

可以看到页面中让执行ollama run llama3即可

一般来说run是用来跑模型的，但是如果本地没有这个模型的话，ollama会自动下载

PS:国内的网络问题不知道有没有解决，下载模型的时候偶尔速度很快，但是很多时候速度很慢以至于提示TLS handshake timeout，这种情况建议重启电脑或者把ollama重启一下(不知道为啥，我同步打开GitHub的时候速度会明显快一些，可能也是错觉)

下载完成以后我们输入ollama list可以查下载了哪些模型

image

这里我们直接输入ollama run llama3，就可以开始对话了

image

三、下载并配置AngthingLLM

AngthingLLM官网：https://useanything.com
下载链接：Download AnythingLLM for Desktop

同样的选择对应的系统版本即可

image

在使用前，需要启动Ollama服务

执行ollama serve，ollama默认地址为：http://127.0.0.1:11434

然后双击打开AngthingLLM

因为我已经配置过，所以不好截图最开始的配置界面了，不过都能在设置里面找到

首先是LLM Preference，LLM provider选择ollama，URL填写默认地址，后面的模型选择llama3，token填4096

image

Embedding Preferenc同样选择ollama，其余基本一致，max我看默认8192，我也填了8192

image

Vector Database就直接默认的LanceDB即可

image

此时我们新建工作区，名字就随便取，在右边就会有对话界面出现了

image

此时你就有了自己本地的语言模型了

是不是很简单，费时间的地方其实就在下载模型的时候，本来想用Open WebUI，但是电脑没有搞docker，就用AngthingLLM了，后续有空搞个docker用open webui

如果模型实在下不下来，也可以搞离线模型

Windows系统下ollama存储模型的默认路径是C:\Users\wbigo.ollama\models，一个模型库网址：魔搭社区

挺全的，但是说实话，llama3-8B我感觉挺拉胯的，可能英文好一些，中文的话使用不如qwen

最后

如果你觉得这篇文章对你有帮助，欢迎点赞、转发、评论！

公众号【火星求索】发送deepseek即可获取【清华大学DeepSeek 从入门到精通 系列】四连弹，以及可以获取收集整理的各种资料。

手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！
2401_86435672的博客
09-20 1万+
本地运行大模型耗资源，需要选择较小的模型作为基础模型。在终端中运行时可能会出现 CUDA 错误，表示显存不足，导致提供的端口失效。中文支持不够完善。\3. 文中提到的技术软件工具有：Ollama、Chatbox、Open WebUI、向量数据库、嵌入模型、本地模型 Gemma、AnythingLLM。
linux内网部署deepseek大模型（ollama+anythingllm）
wukuruaCL的博客
02-13 2820
linux内网部署deepseek大模型：（1）安装ollama（2）使用ollama加载deepseek-r1模型（3）使用docker安装anythingllm
使用ollama + AnythingLLM快速且简单的在本地部署llama3
2401_85327249的博客
07-18 2136
因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费。
基于Ollama+AnythingLLM搭建本地私有知识库系统
热门推荐
sheex2012的博客
04-30 5万+
本文介绍了LLM在落地应用中的不足，并引入了RAG框架和原理，以及RAG在私有知识库建设中的重要作用。并以Ollama和AnythingLLM为实现手段，构建了并测试了本地知识库，测试结果表明，有了RAG的加持，LLM的回答结果更加贴切，有效。
基于Ollama+AnythingLLM轻松打造本地大模型知识库
qq_44373268的博客
05-03 6692
Ollama是一个开源的大型语言模型服务工具，它帮助用户快速在本地运行大模型。通过简单的安装指令，用户可以执行一条命令就在本地运行开源大型语言模型，如Llama 2和最新开源的Llama 3。Ollama极大地简化了在Docker容器内部署和管理LLM的过程，使得用户能够快速地在本地运行大型语言模型。AnythingLLM 是 Mintplex Labs Inc. 开发的一款可以与任何内容聊天的私人 ChatGPT，是高效、可定制、开源的企业级文档聊天机器人解决方案。
全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！
lythinking的博客
04-15 6991
本地运行大模型耗资源，需要选择较小的模型作为基础模型。在终端中运行时可能会出现 CUDA 错误，表示显存不足，导致提供的端口失效。若使用Hugging Face，需要申请 API Key 并且需要本地有 Python 或其他编程语言的环境。而使用Ollama则更加简单。✨ AI算法工程师 | AIGC技术实践者 🚀🎵 知音难求，自我修炼亦艰。📚 吾生也有涯，而知也无涯。🌌 AIGC时代，立志成为超级个体：抓住前沿技术的机遇，与我们一起成为创新的超级个体。✉️ 回复“群聊”，就能和大家嗨聊！
ollama+anythingllm+deepseek R1本地部署
云袂的博客
02-07 4617
ollama+anythingllm+deepseek R1本地部署
通过Ollama+Deepseek+AnythingLLM安装部署私有化大模型，并投喂样本数据
weixin_48398799的博客
02-06 6934
近期，国产大模型 DeepSeek 凭借其强大的性能和广泛的应用场景，迅速成为 AI 领域的焦点。然而，随着用户数量的激增，DeepSeek 的在线服务时常面临访问压力，导致响应延迟甚至服务中断的情况。 幸运的是，DeepSeek 作为一款开源模型，为用户提供了本地部署的解决方案。通过将 DeepSeek 部署到本地终端，用户不仅可以摆脱网络依赖，还能随时随地享受流畅的 AI 体验。本地部署后，DeepSeek 无需联网即可直接运行，彻底解决了在线服务的延迟和宕机问题。而且安全更适合一些工作人员。
五分钟打造你的专属AI助手：Ollama + DeepSeek + AnythingLLM 完整整合指南
yuanmomoya的博客
02-08 1398
预备阶段：确认系统环境符合要求，安装 Ollama、DeepSeek 模型以及 AnythingLLM 客户端。数据导入：整理待收录的文本资料，借助 AnythingLLM 构建知识图谱。模型连接：利用 Ollama 启动 DeepSeek 模型，并将其与 AnythingLLM 对接，实现语言处理与知识管理的无缝衔接。测试优化：通过多轮问答测试，对系统参数和知识库内容进行微调，不断提升问答准确率和响应速度。
通过 Ollama + DeepSeek + AnythingLLM 实现本地部署与自定义知识库
AbnerRain的博客
02-09 3392
本文介绍了如何通过 Ollama、DeepSeek 和 AnythingLLM 实现 AI 模型的本地部署及自定义知识库的构建。首先，通过 Ollama 下载并安装 DeepSeek 模型，完成本地部署。接着，安装 AnythingLLM，创建工作区并配置相关设置，上传自定义知识库并绑定，以优化模型对特定内容的理解。该方法增强了数据隐私性，适用于企业知识管理、客户服务、教育和医疗等领域，为用户提供了灵活的 AI 解决方案。
AnythingLLM+Ollama，能否打造你的专属个性化AI助手？
xx_nm98的博客
10-24 6126
AnythingLLM是一个AI聊天系统，它允许用户构建自己的私人ChatGPT。与依赖云服务的AI工具不同，AnythingLLM支持本地开源和商用闭源的大语言模型（LLM），用户可以根据自己的需求和预算选择合适的模型。
【保姆级教程】本地离线部署大模型Ollama+AnythingLLM！
2301_76161259的博客
02-07 4048
好多同学不知道怎么下载需要用到的工具，我这里给大家都准备好了，需要的文末领取。qwen7b.gguf是阿里巴巴的通义千问大模型，7B大模型，7亿参数，至少需要8G内存，越大回复越流畅，下载完后，双击OllamaSetup，自动安装成功，默认安装在C盘，不能选择安装路径的哦，安装完后，右下角会出现Ollama图标。OLLAMA_MODELS，随意指定变量值，如图所示：Python选择右键小图标，然后退出，在开始菜单中找到重启Ollama在blobs下创建Modelfile文件，没有后缀。
速通秘籍！Ollama + AnythingLLM，手把手教你搭建本地大模型
大模型研究中心
02-10 3327
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。天道酬勤，你越努力，就会成为越优秀的自己。
AnythingLLM + Ollama 实现私有知识库
2301_76168381的博客
01-29 3925
是一款开箱即用的一体化 AI 应用，支持 RAG（检索增强生成）、AI 代理等功能。它无需编写代码或处理复杂的基础设施问题，适合快速搭建私有知识库和智能问答系统。通过和Ollama的结合，我们成功搭建了一个具备私有知识库能力的 AI 应用。私有知识库不仅可以让 AI 回答通用问题，还能基于私有文档（如企业内部资料、图书等）生成更精准的答案。❝注意： 随着知识库中文档数量的增加，回答的准确性可能会受到影响。建议将文档分散到多个工作区，以提高检索效率。
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！
2301_81888214的博客
02-13 750
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！
基于Ollama+AnythingLLM快速搭建本地RAG系统
lldhsds的专栏
04-21 4776
从chat对话中可以看出基于上传的文档，可以回答简单的问题；对于中文文档推理的效果较差。安装后搜索AnythingLLM或在桌面快捷方式打开程序，兼容多种LLM模型。执行上述命令会在本地的114343端口启动服务，可以供外部调用。基于Ollama+AnythingLLM快速搭建本地RAG系统。embedding模型： nomic-embed-text。下载windows安装包，双击下一步安装即可。操作系统：windows11 23H2。llm模型： gemma:2B。1. 下载安装Ollama。
ollama+anythingllm==构建本地知识库
hebian1994的博客
05-06 3173
测试下文本问答，可以看到走的GPU,并且可以在ollama服务端看到了来自anythingllm的请求日志。安装完成后打开，输入ollma服务器的地址，然后可以选择使用ollama中的哪个模型。然后再问，可以发现这下准了，所以准确度还是对投入的文档有一定的准确度要求的。此时模型会被自动下载到环境变量配置的地址，并且启动一个对话界面。配置ollama环境变量，调整模型存放的位置。自己写手写个TXT吧，我在TXT里写的内容为。右下角退出ollama程序，然后再次启动。安装ollama，自动安装到C盘。
deepseek+ollama+openwebui+anythingllm本地部署局域网调用
最新发布
03-14
### DeepSeek、Ollama、OpenWebUI 和 AnythingLLM 的局域网本地部署及调用方法 #### 部署准备 为了在局域网中成功部署和调用这些服务，需先确认基础环境已经搭建完毕。通常情况下，Ollama 是核心组件之一，它提供了轻量级的推理能力，并支持多种大型语言模型（LLMs）。以下是具体的部署流程： --- #### 1. 安装 Docker 并拉取 Ollama 镜像 Docker 是运行 Ollama 的必要工具。通过以下命令可以安装并启动 Ollama： ```bash docker pull ollama/ollama docker run -d -p 11434:11434 -v /data/ollama:/root/.ollama --name ollama ollama/ollama ``` 如果设备具备 GPU 支持，则可以通过 `--gpus` 参数启用 GPU 加速模式[^4]。 进入容器后可进一步下载所需的模型文件： ```bash docker exec -it ollama /bin/bash ollama pull deepseek-r1:8b ``` 上述操作完成后，Ollama 将作为 HTTP API 接口提供服务，默认监听端口为 `11434`。 --- #### 2. 使用 OpenWebUI 调用 Ollama OpenWebUI 是一款图形化界面工具，能够简化与 LLMs 的交互过程。其配置方式如下所示： - **克隆仓库**：从 GitHub 获取最新版本代码。 ```bash git clone https://github.com/open-web-ui/webui.git cd webui ``` - **修改配置文件**：编辑 `config.json` 文件以指定目标地址指向本地图形接口的服务路径。 ```json { "api_url": "http://<服务器IP>:11434", "model_name": "deepseek-r1" } ``` 此处 `<服务器IP>` 应替换为实际主机 IP 地址或域名。 - **启动 Web UI** ```bash npm install && npm start ``` 此时访问浏览器中的 URL 即可通过可视化界面对接至后台运行的 Ollama 实例。 --- #### 3. 添加 AnyThingLLM 插件扩展功能 AnyThingLLM 可视为一种增强型插件框架，允许开发者轻松集成第三方资源库或者定制专属逻辑模块。具体实现步骤包括但不限于以下几个方面： - 确定所需加载的功能集； - 编写适配器脚本来桥接不同平台间的数据流传输协议； - 测试最终效果验证兼容性和稳定性。 例如，在 Python 中创建一个简单的客户端程序用于发送请求给远程节点： ```python import requests url = 'http://localhost:11434/api/generate' payload = {"prompt":"hello world","max_tokens":50} response = requests.post(url, json=payload) print(response.text) ``` 以上片段展示了如何利用 RESTful APIs 来获取预测结果[^1]。 --- #### 总结说明 综上所述，整个工作流涵盖了从基础设施建设到高级特性开发等多个层面的内容。借助于现代化 DevOps 工具链的支持，即使是在缺乏专用硬件加速卡的情况下也能顺利完成任务需求[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

火星求索

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值