ollama+deepseek+AnythingLLM部署个人知识库完整分享

关注

原创最新推荐文章于 2026-05-12 09:46:02 发布 1.5k 阅读 AI 写同款· GEO 优化 ›

AnythingLLM、Dify 与 Open-WebUI：如何接入 Ollama，它们有何不同？随着大语言模型（LLM）的浪潮席卷而来，许多开源工具与平台纷纷涌现，帮助开发者快速搭建自己的 AI 助手或应用。对于想要在本地或自托管环境中运行 LLM 的用户而言，Ollama提供了一个无需 GPU、在 CPU 环境也可高效完成推理的轻量化“本地推理”方案。而要让 Ollama 真正“接地气”，往往需要与其他开源项目进行配合——例如将文档、数据源或应用前端与 Ollama 打通，这便衍生出许多解决方案。阅读详情

1、各模块作用

ollama：一个用于在本地运行大型语言模型（LLM）的开源框架，旨在简化LLM的部署和运行。它支持多种模型，并提供了丰富的API接口和聊天界面，可用于文本生成、翻译、问答和代码生成等。

DeepSeek：一款功能强大的数据处理和分析工具，支持多种数据格式和数据源，可用于数据挖掘、机器学习、商业智能等领域。

AnythingLLM：一个开源的、可定制的文档聊天机器人，可将文档转化为LLM的上下文，支持多用户管理和权限控制，可用于构建知识库和问答系统。

简单来说，ollama我理解为docker的方法部署服务，他的使用语法和docker也比较接近，deepseek就是一个训练好的模型，类似docker的镜像，跑在ollama软件上，但ollama缺少合适的界面，故使用AnythingLLM，当然也有其他的交互界面，比如Open webUI之类的，选择自己喜欢的就行，都是开源的，容易找到

2、电脑准备

我是在自己的pc上安装的，windows环境，建议：确保CPU >= 4核，RAM >= 16GB，Disk >= 50GB。

3、下载和安装必要的软件

从Ollama的官方网站（https://ollama.com/download）下载并安装Ollama。Ollama下载windows版本，一步一步安装就行，傻瓜式安装，很方便，不懂得可以查看帮助文档：

安装好后测试一下是否可用

下载对应的大模型，在Ollama首页点击【Models】可以查看Ollama支持的所有模型列表。现在DeepSeek就排在第一个位置，很好找

点击模型即可看到模型的详细信息，包含介绍、安装方式等。复制圈红的命令到ollama的cmd窗口就可以拉去大模型了。

在电脑上打开cmd，执行ollama的命令

ollama run deepseek-r1:1.5b``ollama run deepseek-r1:8b

我这儿拉去了2个deepseek的大模型用于测试，有的电脑性能不够建议用小模型，不然跑起来吃力，

镜像拉去结束后就可以进行命令行问答交互，但体验感不佳，

从AnythingLLM的官方网站（https://anythingllm.com/desktop）下载并安装AnythingLLM。

也是傻瓜式的安装部署，一步一步，安装后打开软件，新建一个工作区，一个工作区类似一个大模型的应用场景，新建不同的new thread类似开启不同的对话，

配置对应的问答大模型，

添加自己的知识库内容，支持word、ppt、pdf等格式上传、解析

选择对应的文件夹内容添加到右边即可，后台会进行解析，然后就可以针对性提问了，到这儿就差不多部署好一个私有化的大模型知识库

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述