在Docker上部署Ollama+AnythingLLM完成本地LLM Agent部署

最新推荐文章于 2025-07-09 14:12:19 发布
最新推荐文章于 2025-07-09 14:12:19 发布
阅读量7.6k 收藏 27
点赞数 34
CC 4.0 BY-SA版权
分类专栏： 漏洞分享 文章标签： docker 容器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/INSBUG/article/details/141066469

图片

在当今快速发展的人工智能领域，本地部署大型语言模型（LLM）Agent正逐渐成为企业和研究者关注的焦点。本地部署不仅能够提供更高的数据安全性和隐私保护，还能减少对外部服务的依赖，提高响应速度和系统稳定性。本文将介绍如何通过Docker容器技术，结合Ollama和AnythingLLM两款工具，完成本地LLM Agent的部署和应用。

Ollama镜像部署

Ollama是一个开源的大型语言模型服务工具，它为用户在本地环境中快速部署和运行大型模型提供了便利。通过简洁的安装指南和一键命令，用户能够迅速地启动如Llama 2和Llama 3等开源大型语言模型。Ollama通过简化LLM部署和管理流程，使用户能够高效地在本地环境中操作大型语言模型。

本文以Windows系统下的Docker部署Ollama为例，通过镜像能够轻量化且更方便地管理虚拟环境。

首先在官网Docker Desktop: The #1 Containerization Tool for Developers | Docker下载Docker Desktop，下载后在DockerHub中可以找到ollama项目，拉取镜像。

这里注意Docker的安装程序默认安装在C盘，由于镜像文件非常大，所以如果想要更换安装路径可以在终端通过如下类似的命令安装：

"D:\Download\Docker Desktop Installer.exe"  install --installation-dir="D:\Program\Docker"

最低0.47元/天 解锁文章

200万优质内容无限畅学
Docker安装并运行AnythingLLM的详细教程
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
02-26 3993
通过本文的介绍，你已经掌握了如何在 CentOS 系统上使用 Docker 安装并运行 AnythingLLM。AnythingLLM 提供了强大的功能，支持本地知识库搭建和多模态输入，非常适合个人和企业使用。希望本文能帮助你快速上手并搭建自己的 AI 知识库。
CrewAI教程之 01 如何使用 Ollama 和 CrewAI 在本地构建博客文章写作系统（教程含源码）
iCloudEnd的博客
06-25 851
Ollama是一款帮助在本地运行 LLM 的开源工具。我们已经有一个关于如何使用 Docker compose 在本地部署 Ollama 和 Open-WebUI 的教程。本次我将利用Ollama和CrewAI搭建一个基于本地LLM的博客文章写作系统。您可能会说“Ollama 足以生成博客文章，对吧？”，Ollama 也可以撰写文章。但是您可以从更系统的工作流程中获得处理后的文章，其中基于 LLM 的多个代理使用CrewAI处理每个角色和目标。
docker-compose安装anythingLLM
zsj777的专栏
03-04 637
1、anythingLLM的docker-compose文件。anything 的environment 文件。
太简单了！AnythingLLM + Ollama，打造本地专属 AI 助手(附教程)
DEVELOPERAA的博客
06-16 824
这篇文章将介绍一款深受好评的“知识库管理”工具 AnythingLLM 与一款小巧易用的“本地模型推理”工具 Ollama，并结合二者打造一个专属的本地 AI 助手。
【本地】基于 Docker 搭建 Anythingllm
lu_rong_qq的博客
12-18 1万+
【Ollama+Anythingllm+Docker】尝试搭建一个自己的知识库增强生成模型（RAG），本文记录的是完全在本地的搭建流程。但是由于太耗c盘了，跑过之后尝试转战云部署，以防后续忘记关键步骤，遂总结为经验帖。
Ollama + Docker + AnythingLLM 搭建本地多用户AI知识库
茶馆
07-04 1万+
整个过程需要准备三个工具：Ollama： 用于运行本地大模型的管理：llama3, qwen2等Docker：用于运行AnythingLLM。AnythingLLM：知识库运行平台，提供知识库构建及运行的功能。
Ubuntu服务器系统Docker部署Ollama+AnythingLLM实现DeepSeek本地部署
王大爷的博客
03-10 2686
docker部署deepseek+anythinyLLM
【大模型】Ollama+WebUI+AnythingLLM搭建本地知识库
春天的波菜
10-24 2322
部署属于自己的大模型，优点：离线运行、隐私保护、开发和测试，配合AnythingLLM搭建本地知识库，同时支持API接口调用。
WSL下如何在Docker下部署个人知识库AnythingLLM
ms44的专栏
11-18 1636
最近发现使用WSL非常方便。不仅可以不用实体机器安装Linux，同时也可以避免额外的浪费空间。因此打算部署一个局域网内的个人知识库体系，这样就可以建立一个强大的知识和大模型体系，真正用到AI的能力。AnythingLLM作为一个本地部署和云部署都支持的小巧形知识库工具也非常的好用。再加上对大模型框架Ollama的高性价比，这套本地局域网知识库的部署还是非常有价值的。
828华为云征文｜部署基于 LLM 的私有知识库系统 AnythingLLM
maxxspace的博客
09-22 4781
与您的文档聊天，使用AI代理，高度可配置，多用户，无需繁琐的设置
Docker环境安装anythingllm
weixin_37536020的博客
06-25 5401
Docker环境安装anythingllm。
Docker 部署AnythingLLM
炫爱小七的博客
02-19 887
Docker 部署AnythingLLM
AnythingLLM 的 Docker 使用
热门推荐
myepicure的专栏
06-12 1万+
AnythingLLM是使用大语言模型LLM的一站式简便框架。
Linux系统使用Docker快速部署一个简单易用的LLM平台Dify
ks_wyf的博客
05-16 3042
Linux系统使用Docker快速部署一个简单易用的LLM平台Dify
Windows 中使用 docker 部署 AnythingLLM
u013132317的博客
02-28 1087
【代码】Windows 中使用 docker 部署 AnythingLLM。
Docker+Ollama+WebUI+AnythingLLM，构建企业本地AI大模型
weixin_44585288的博客
05-31 8797
将上面的docker run命令转换为docker-compose.yml文件，并设置open-webui和anythingllm服务依赖于ollama服务，方便管理。这将停止并移除容器，但不会删除卷。每个服务都有自己的配置，包括镜像、容器名称、重启策略、特权模式、端口映射和卷挂载。这将按照文件中定义的配置启动所有服务。路径替换为实际的宿主机路径，或者根据需要创建这些目录。openAI 的 GPT 大模型的发展历程。这将重建任何已更改的服务的镜像。
docker本地部署anythingllm
zxhy0123的博客
04-05 304
docker本地部署anythingllm
anything-llm docker 部署
最新发布
weixin_40388758的博客
07-09 240
系统会根据你上传的 40G 源码文件建立向量索引并提问，全部本地完成。创建 Workspace，点击 “New Workspace”（这是必须的，Docker Compose 默认读取。首次访问会进入 Workspace 创建页面。目录，上传你的 Android 源码或子目录。在 “LLM Provider” 里选择。（新版本 Docker 已把。
anythingllm agent
03-08
### AnythingLLM Agent 使用指南和配置方法 #### 1. 安装与环境准备 为了顺利安装并运行 AnythingLLM，在 Docker 上部署 Ollama+AnythingLLM 可以简化这一过程。这不仅提供了稳定的运行环境，还减少了复杂的依赖关系处理[^3]。 ```bash docker pull ollama/anythingllm:latest docker run -d --name anythingllm-agent -p 8080:8080 ollama/anythingllm:latest ``` 通过上述命令可以拉取最新的镜像并启动容器，端口映射使得可以从主机访问该应用的服务接口。 #### 2. 用户界面与基础操作 一旦成功部署，用户可以通过浏览器或其他 HTTP 客户端连接到 `http://localhost:8080` 来管理和监控 AnythingLLM 的状态以及执行各种任务。此平台支持多用户管理，意味着不同权限级别的账户可以在同一实例内共存而不互相干扰。 #### 3. 文档交互能力 AnythingLLM 支持将任意形式的文档转化为结构化数据，这些数据会被索引以便于后续查询和分析。当用户上传文件时，系统会自动解析其内容，并将其存储在一个易于检索的形式中。这样做的好处在于可以让 LLM 更好地理解和利用外部资料来增强对话质量。 #### 4. 自定义技能 (Custom Skills) 对于希望进一步定制化的开发者来说，AnythingLLM 提供了一个强大的框架用于创建特定领域内的专用功能——即所谓的 “自定义技能”。借助这套工具集，团队能够快速构建起针对具体应用场景优化过的解决方案，从而显著提升工作效率和服务体验[^4]。 #### 5. 智能代理流程 (Agent Flows) 除了单个技能外，还可以组合多个动作形成复杂的工作流。这种灵活性允许用户根据实际需求编排一系列连续的操作步骤，实现更高级别的自动化程度。例如，接收电子邮件触发器 -> 解析邮件正文提取关键词 -> 查询内部知识库获取相关信息 -> 自动生成回复草稿等一连串活动都可以被封装成一个完整的业务逻辑链条。 ```json { "flow": [ { "type": "email_trigger", "config": {} }, { "type": "text_analysis", "config": {"keywords": ["urgent", "important"]} }, { "type": "knowledge_base_search", "config": {"query_field": "subject"} }, { "type": "draft_response", "config": {} } ] } ``` 以上 JSON 片段展示了如何定义一个多阶段的任务序列，其中包含了从检测新消息到来直至生成初步答复的所有必要环节。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值