Ollama + (Anythingllm / Open WebUI / MaxKB)搭建本地大模型

原创 已于 2024-05-22 16:40:03 修改 · 4.8k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#llama #gpt

于 2024-05-20 17:54:23 首次发布

个人体验MaxKB做知识库效果最好

一、Ollama

1、下载Ollama

地址：Download Ollama on macOS

curl -fsSL https://ollama.com/install.sh | sh

2、下载指定的模型

地址：library

# Llama3

ollama run llama3:8b

# 这个模型可以将文本内容转换成向量数据

ollama pull nomic-embed-text:v1.5

二、Open WebUI

1、拉取镜像

# 拉取镜像

docker pull ghcr.io/open-webui/open-webui:main

2、（可选）使用代理拉取镜像

# 如果拉不动的话加个代理

docker pull ghcr.dockerproxy.com/open-webui/open-webui:main

# 重命名镜像（如果是通过代理下载的） docker tag ghcr.dockerproxy.com/open-webui/open-webui:main ghcr.io/open-webui/open-webui:main

# 删除代理镜像（如果是通过代理下载的）

docker rmi ghcr.dockerproxy.com/open-webui/open-webui

最低0.47元/天 解锁文章
yong472727322
关注
Ollama+MaxKB 部署本地知识库
2401_84052244的博客
08-09 6107
嵌入三方应用的需求也是比较常见的，比如你可以通过 iframe 或者 js 代码的形式嵌入到你现有的系统中，我们经常看到一些网站右下角的浮窗就是这种形式，在 MaxKB 中支持嵌入三方应用，需要在应用的 “概览” 中点击 “嵌入第三方”学习新知识，最好的方式就是直接去应用它，你可能从来都不知道什么是 RAG，但对相关知识有个大概了解后，通过实践，亲自搭建几个可以 run 起来的应用，那些架构里的结构、名词，逐渐全部都能对应得上了。我选择的是第二项，因为我的知识库数据量较小。
MaxKB构建本地大语言模型问答系统打造属于你的智能问答应用
m0_64361522的博客
11-25 1552
本文主要介绍如何在windwos环境本地运行大语言模型框架Ollama,并在Ollama中下载大语言模型llama2,然后在MaxKB中导入添加该windwos运行的本地大语言模型到MaxKB中,创建属于我们自己的智能问答应用,无需公网IP,无需域名即可实现!
本地部署AnythingLLM知识库并通过Infortress App远程访问
weixin_44474333的博客
05-14 373
本地部署AnythingLLM后，如何在手机上跨网络访问？本文分享一个简单实用的方法——通过Infortress App实现远程访问。无需复杂设置，纯图形化界面，新手也能轻松上手！只需三步：安装AnythingLLM、配置Infortress服务端、安装Infortress客户端（手机/电脑）。借助Infortress的内网穿透功能，随时随地访问本地知识库，实现“一次部署，随处使用”。无论是学习还是工作，都能兼顾安全与便捷。
Ollama 可以在 Windows 上运行了
engchina的专栏
02-16 2万+
Ollama 可以在 Windows 上运行了
Ollama完全指南:2025年本地部署大模型的最佳实践
最新发布
2301_79534554的博客
11-18 3293
在AI大模型时代,ChatGPT、Claude等云端服务虽然强大,但存在数据隐私、网络依赖、使用成本等问题。Ollama应运而生,它是一个开源的本地大语言模型运行框架,让你能够在自己的电脑上轻松部署和运行各种大模型。简单来说,如果把Docker比作容器化应用的管理工具,那么Ollama就是大语言模型的"Docker"——它将模型权重、配置和运行环境打包成一个整体,让本地部署变得像运行一个普通软件一样简单。Modelfile是Ollama的模型配置文件,类似于Docker的Dockerfile。
Ollama：一个在本地部署、运行大型语言模型的工具
2401_84495725的博客
06-15 6227
所谓自定义模型就是不适用Ollama官方模型库中的模型，理论可以使用其他各类经过转换处理的模型Ollama库中的模型可以通过提示进行自定义。python复制代码FROM llama3 # 设置温度参数 PARAMETER temperature 1 # 设置SYSTEM 消息 SYSTEM """作为AI智能助手，你将竭尽所能为员工提供严谨和有帮助的答复。"""Modelfile文档One-API是一个OpenAI接口管理 & 分发系统，支持各类大模型。这里使用Docker快速进行部署。拉取镜像。
Ollama入门教程：从安装到运行的完整指南
yoona333的博客
11-30 7400
随着人工智能（AI）技术的快速发展，大型语言模型（LLMs）逐渐成为了各行各业的重要工具。然而，使用这些强大模型的同时，数据隐私、处理效率和部署复杂度等问题也逐渐浮现。为了解决这些问题，Ollama 提供了一种创新的解决方案——通过本地化部署大型语言模型，不仅能够增强数据隐私性，还能提高模型的运行效率。本文将详细介绍如何下载和安装 Ollama，如何选择和运行不同的语言模型，以及 Ollama 的特点、适用场景、优缺点等内容，帮助大家深入了解这一平台。ollama官网🚪 ollama官方文档🚪 根据自己
使用MaxKB添加本地部署的Ollama大语言模型搭建智能聊天系统
FGGIT的博客
05-06 6751
使用MaxKB添加本地部署的Ollama大语言模型搭建智能聊天系统
【大模型】Ollama+open-webui/Anything LLM部署本地大模型构建RAG个人知识库教程（Mac）
后端研发工程师Marion的博客
06-05 1万+
如果需要，可以使用AnythingLLM的开发者API进行自定义集成，以满足特定的业务需求。
MaxKB+Ollama+DeepSeek1.5B部署知识库
余金兑人的技术角落
02-25 1418
记录了知识库搭建过程，MaxKB+Ollama+DeepSeek。
【AI+本地知识库】个人整理的几种常见本地知识库技术方案
热门推荐
子晓聊技术
04-22 3万+
个人整理的几种常见本地知识库技术方案，MaxKB，AnythingLLM，Langchain-Chatchat等
【应用实战】利用Ollama + RAGFlow部署千问大模型：构建个人知识库AI智能体
梅花寺
04-08 1699
将开源的大语言预训练模型部署到用户设备上进行推理应用，特别是结合用户专业领域知识库构建AI应用，让AI在回答时更具有专业性，目前已经有很多成熟的应用方案。其中，支持大模型本地化部署的平台及工具很多，比较出名的有ollama、vLLM、LangChain、Ray Serve等，大大简化了模型的部署工作，并提供模型全生命周期管理。
【AI+本地知识库】个人整理的三类共7种主流的本地知识库开源技术方案
趣谈AI栈
03-26 1289
近期正在做本地知识库的搭建工作，调研一圈后整理出本篇。 朋友们可以根据使用场景、界面风格和方案特色，各取所需~
MaxKB导入本地向量模型
m0_63579679的博客
03-02 653
(3)在docker-compose.yml文件的volumes:中，增加- /opt/maxkb/model:/opt/maxkb/model （用户自选挂点：用户自选挂点）3.重新启动容器：docker-compose -f docker-compose.yml -f docker-compose-pgsql.yml up -d。5.检查docker-maxkb镜像，/opt/maxkb/model，文件是否丢失。mv /root/本地模型 /opt/maxkb/model/本地模型。
MaxKB 如何对接本地向量模型
08-06 4024
MaxKB 如何对接本地向量模型
MaxKb/open-webui+Ollama运行模型
weixin_44471080的博客
06-25 1601
虚拟机中配置Ollama和MaxKB，并且运行模型。
Open WebUI 与 AnythingLLM 安装部署
zyplanke的专栏
01-09 9896
本文分别介绍了Open Web UI和AnythingLLM的安装、部署和使用。 包括如何与Ollama对接，并使用Ollama上的模型（大语言模型）。
本地大模型4：安装部署MaxKB
weixin_74825941的博客
09-10 1269
MaxKB的安装部署和基本使用，需要用到docker，大模型以及Docker
MaxKB 使用本地重排模型并对知识库进行重排
m0_59880555的博客
08-01 674
本文介绍了如何部署和使用重排模型与MaxKB系统对接。 主要包括三个步骤：1）从Hugging Face下载重排模型并上传至服务器，创建指定目录并修改docker-compose.yaml配置文件；2）将模型文件放入指定位置，后续新增模型只需放入同一目录；3）在MaxKB系统中配置本地向量模型，包括设置模型参数和应用编排。操作流程涵盖了从模型部署到系统集成的完整过程。
Ollama + AnythingLLM和Ollama + CherryStudio搭建离线知识库的区别
06-23
<think>我们正在比较两个基于Ollama的离线知识库方案：Ollama+AnythingLLM和Ollama+CherryStudio。需要从架构、功能、易用性、适用场景等方面进行比较。参考引用：[^1]提到CherryStudio通过全链路本地化部署架构，实现数据端到端闭环，确保安全性和响应速度。技术验证中集成了Ollama容器化框架和RAGFlow智能检索系统，在离线环境下完成向量数据库构建与模型推理。[^2]提到Ollama+AnythingLLM的搭建过程，包括下载和启动模型，以及嵌入模型的使用。根据这些信息，我们可以进行如下比较：1.**架构设计**：-**Ollama+AnythingLLM**：AnythingLLM是一个开源的本地知识库解决方案，它提供了一个用户界面，允许用户上传文档、管理聊天，并与Ollama模型交互。它通常使用本地向量数据库（如ChromaDB）和嵌入模型（如nomic-embed-text）来处理文档。-**Ollama+CherryStudio**：CherryStudio是一个企业级平台，强调全链路本地化部署。它集成了RAGFlow（一个智能检索系统）和Ollama，构建了一个更完整的端到端解决方案，特别注重安全性和性能（毫秒级响应）。2.**功能对比**：-**AnythingLLM**：-提供直观的Web界面，支持多文档上传（PDF、TXT等）。-支持多种向量数据库（如Chroma、LanceDB等）和嵌入模型。-支持多模型切换（可以连接多个Ollama模型或OpenAI等）。-开源，可自定义程度高。-**CherryStudio**：-集成RAGFlow智能检索系统，优化了检索的准确性和效率。-强调企业级特性：安全审计、权限控制、高并发支持等。-全链路数据封闭，特别适合处理敏感数据。3.**部署与易用性**：-**AnythingLLM**：部署相对简单，通过Docker容器可以快速启动。用户需要自己下载并运行Ollama模型，然后在AnythingLLM界面中配置。-**CherryStudio**：作为企业级解决方案，部署可能更复杂，但提供更完善的管理工具和监控。它集成了Ollama和RAGFlow，形成一套完整的系统。4.**适用场景**：-**AnythingLLM**：适合个人、小团队或对成本敏感的用户，需要快速搭建一个本地知识库进行文档问答。-**CherryStudio**：适合企业用户，尤其是对数据安全性和系统性能有较高要求的场景，如金融、医疗等行业。5.**性能与扩展性**：-**AnythingLLM**：性能取决于本地硬件，扩展性需要用户自行处理（如使用更强大的向量数据库或分布式部署）。-**CherryStudio**：由于集成了优化的智能检索系统（RAGFlow），在检索速度和准确性上可能有优势，并且支持高并发和水平扩展。总结：-如果你需要一个简单、灵活、开源的解决方案，可以选择Ollama+AnythingLLM。-如果你需要企业级的安全性和性能，并且有足够的资源部署，那么Ollama+CherryStudio（特别是结合RAGFlow）可能是更好的选择。相关问题：1.如何选择适合自己需求的本地知识库搭建方案？2.Ollama+AnythingLLM的具体部署步骤是怎样的？3.CherryStudio中RAGFlow的作用是什么？</think>### Ollama + AnythingLLM vs Ollama + CherryStudio 搭建离线知识库的差异比较 以下从架构设计、功能特性、部署方式、适用场景等维度进行对比分析： #### 1. **架构设计差异** - **Ollama+AnythingLLM** 采用轻量级分层架构： $$ \text{Ollama模型层} \rightarrow \text{嵌入模型层} \rightarrow \text{AnythingLLM应用层} $$ 核心组件包括： - Ollama 提供本地大模型推理 - 向量数据库（如ChromaDB） - AnythingLLM 开源前端界面 - **Ollama+CherryStudio** 采用企业级全链路封闭架构[^1]： $$ \text{Ollama容器} \rightarrow \text{RAGFlow智能检索} \rightarrow \text{CherryStudio平台} $$ 关键特性： - 数据端到端闭环处理 - 集成RAGFlow优化检索流程 - 内置安全审计与权限控制 #### 2. **功能特性对比** | 特性 | Ollama+AnythingLLM | Ollama+CherryStudio | |---------------------|----------------------------------|-----------------------------------| | **模型管理** | 手动下载/启动模型 (`ollama run`) | 自动化模型容器编排 | | **检索系统** | 基础向量检索 | RAGFlow智能检索（支持多模态）[^1] | | **安全控制** | 基础权限管理 | 企业级敏感数据防护[^1] | | **响应延迟** | 百毫秒级 | 毫秒级响应优化[^1] | | **知识库构建** | 需手动配置嵌入模型 | 自动构建向量数据库 | | **多模型支持** | ✅ (开源灵活) | ✅ (企业级调度) | #### 3. **部署复杂度** - **AnythingLLM方案** ```bash # 典型部署流程 ollama pull nomic-embed-text # 下载嵌入模型[^2] docker run -d anythingllm/anythingllm # 启动前端 ``` 优势：开箱即用，适合个人/小团队 - **CherryStudio方案** 需部署完整技术栈： - Ollama容器化集群 - RAGFlow智能检索系统 - CherryStudio平台服务 优势：支持分布式扩展，适合企业级负载[^1] #### 4. **适用场景** - **选择AnythingLLM当**： - 需要快速验证原型 - 个人/小团队知识管理 - 对成本敏感的场景 - **选择CherryStudio当**： - 处理金融/医疗等敏感数据[^1] - 需要高并发毫秒级响应 - 企业级权限审计需求 #### 5. **典型性能对比** | 指标 | AnythingLLM方案 | CherryStudio方案 | |---------------|-----------------|------------------| | 检索延迟 | 200~500ms | <50ms[^1] | | 数据吞吐量 | ~10 docs/s | ~100 docs/s | | 安全合规性 | 基础防护 | 全链路加密[^1] | > ⚠️ 注意：CherryStudio方案通过RAGFlow优化检索路径$$ \min_{\theta} \sum \| \text{query} - \text{embedding} \|^2 $$实现效率跃升[^1] ---
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值