ollama+deepseek+AnythingLLM部署个人知识库完整分享

最新推荐文章于 2025-03-14 15:23:32 发布

Python_金钱豹

最新推荐文章于 2025-03-14 15:23:32 发布

阅读量1.2k

点赞数 29

文章标签：机器学习人工智能深度学习计算机视觉语言模型

本文链接：https://blog.youkuaiyun.com/Python_cocola/article/details/145688024

版权

1、各模块作用

ollama：一个用于在本地运行大型语言模型（LLM）的开源框架，旨在简化LLM的部署和运行。它支持多种模型，并提供了丰富的API接口和聊天界面，可用于文本生成、翻译、问答和代码生成等。

DeepSeek：一款功能强大的数据处理和分析工具，支持多种数据格式和数据源，可用于数据挖掘、机器学习、商业智能等领域。

AnythingLLM：一个开源的、可定制的文档聊天机器人，可将文档转化为LLM的上下文，支持多用户管理和权限控制，可用于构建知识库和问答系统。

简单来说，ollama我理解为docker的方法部署服务，他的使用语法和docker也比较接近，deepseek就是一个训练好的模型，类似docker的镜像，跑在ollama软件上，但ollama缺少合适的界面，故使用AnythingLLM，当然也有其他的交互界面，比如Open webUI之类的，选择自己喜欢的就行，都是开源的，容易找到

2、电脑准备

我是在自己的pc上安装的，windows环境，建议：确保CPU >= 4核，RAM >= 16GB，Disk >= 50GB。

3、下载和安装必要的软件

从Ollama的官方网站（https://ollama.com/download）下载并安装Ollama。Ollama下载windows版本，一步一步安装就行，傻瓜式安装，很方便，不懂得可以查看帮助文档：

安装好后测试一下是否可用

下载对应的大模型，在Ollama首页点击【Models】可以查看Ollama支持的所有模型列表。现在DeepSeek就排在第一个位置，很好找

点击模型即可看到模型的详细信息，包含介绍、安装方式等。复制圈红的命令到ollama的cmd窗口就可以拉去大模型了。

在电脑上打开cmd，执行ollama的命令

ollama run deepseek-r1:1.5b``ollama run deepseek-r1:8b

我这儿拉去了2个deepseek的大模型用于测试，有的电脑性能不够建议用小模型，不然跑起来吃力，

镜像拉去结束后就可以进行命令行问答交互，但体验感不佳，

从AnythingLLM的官方网站（https://anythingllm.com/desktop）下载并安装AnythingLLM。

也是傻瓜式的安装部署，一步一步，安装后打开软件，新建一个工作区，一个工作区类似一个大模型的应用场景，新建不同的new thread类似开启不同的对话，

配置对应的问答大模型，

添加自己的知识库内容，支持word、ppt、pdf等格式上传、解析

选择对应的文件夹内容添加到右边即可，后台会进行解析，然后就可以针对性提问了，到这儿就差不多部署好一个私有化的大模型知识库

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述