基于chatOllama实现本地RAG应用

最新推荐文章于 2025-04-17 11:36:21 发布
最新推荐文章于 2025-04-17 11:36:21 发布
阅读量1.4k 收藏 12
点赞数 7
文章标签： llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2401_84215165/article/details/137600941
版权
本文详细介绍了如何在Windows10Docker环境中安装和配置chatOllama，包括设置环境变量、初始化SQLite数据库、下载模型以及导入本地知识库进行问答。展示了本地知识库启用前后问答效果的对比。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

基于chatOllama100%实现本地RAG应用

环境

  • Windows 10
  • Docker
  • ollama

基于Docker环境安装chatOllama

下载chatOllama

下载到桌面docker-compose.yaml，并在命令行中执行如下命令，开始下载相关docker

cd C:\Users\Administrator\Desktop
docker compose up

在这里插入图片描述

下载完成后会看到Docker Desktop中有三个容器在运行
在这里插入图片描述

配置环境变量

由于chatOllama是运行是docker容器中，所以需要在本机设置环境变量，将chatOllama的地址设置为环境变量，方便后续调用

OLLAMA_HOST=http://host.docker.internal:11434

在这里插入图片描述

初始化SQLite数据库
docker compose exec chatollama npx prisma migrate dev

在这里插入图片描述

下载文本嵌入模型
ollama pull nomic-embed-text:latest

访问chatOllama

访问地址：http://l27.0.0.1:3000/

看到如下页面说明chatollama已经成功运行

在这里插入图片描述

配置chatOllama

进入设置页面，配置ollama server，地址配置为：
http://host.docker.internal:11434
在这里插入图片描述

模型下载

进入模型下载页面，下载模型，因为我之前用ollama pull过很多模型，所以这里就展示出来了，如果没有下载过，在下载地址栏输入模型名称即可

在这里插入图片描述

本地知识库

导入本地文件

进入知识库页面，点击导入本地文件，选择本地文件，点击导入即可，支持多个文件导入
在这里插入图片描述

本地文件内容：
在这里插入图片描述

配置chat

导入完成之后，点击opsany部署，进入chat页面，点击编辑按钮就入编辑页面，选择模型
在这里插入图片描述

开始问答

根据文档内容提问，可以得到相应的回答，可以看到回答的内容和上传的文档内容大致相似，并且可以看到来源是pdf文档
在这里插入图片描述

以下是没有使用本地知识库的情况

可以看到回答和上传的问答是明显不一样的
在这里插入图片描述

AI老谭
关注
在自己电脑PC上构建本地大模型知识库之ChatOllama 基于 Ollama 的 100% 本地 RAG 应用程序
iCloudEnd的博客
05-25 752
Ollama是一种流行的本地运行开源 LLM 工具，包括Mistral和Llama 2等模型。Ollama将模型权重、配置和数据集捆绑到由 Modelfile 管理的统一包中。Ollama支持各种LLM，包括但不限于以下模型：LLaMA-2CodeLLaMAFalconMistralVicunaOllama包括聊天模型和文本嵌入模型，这正是 RAG 应用所需要的。利用Ollama，我们可以实现 100% 本地化的 RAG 应用。
【AI】在Windows10下部署本地LLM RAG服务
每日出拳老爷子的博客
04-18 969
如果出现permission denied警告，可能是之前失败的安装遗留下的文件造成的问题，在windows资源管理器中将提示给出的文件全部删除再重跑命令即可。RAG的后台向量库并不需要对LLM产生影响，LLM是人与向量库（知识库）之间的交流媒介。执行此命令后，windows当前路径下会生成一个叫privacy-chat的项目文件夹，后续的模板等项目相关的设置内容都会放到这个项目文件夹中。看一下项目源码的话可以知道，interface采用的框架是flask，所以用flask的知识可以自定义你的使用界面。
只需三步，本地打造自己的AI个人专属知识库
热门推荐
AAI666666的博客
04-08 3万+
只需三步，本地打造自己的AI个人专属知识库
大模型实战：chromadb + Ollama 本地部署问答的RAG应用
最新发布
2401_85375186的博客
04-17 1063
如果你真的想学习大模型，请不要去网上找那些零零碎碎的教程，真的很难学懂！你可以根据我这个学习路线和系统资料，制定一套学习计划，只要你肯花时间沉下心去学习，它们一定能帮到你！
ChatOllama | 基于Ollama实现100%本地化RAG应用
2301_81888214的博客
11-26 1460
RAG - 检索增强生成，是优化大型语言模型的输出的过程，使其在生成响应之前引用其训练数据源之外的权威知识库。大型语言模型（LLMs）在大量数据上进行训练，并使用数十亿个参数来为回答问题、翻译语言和完成句子等任务生成原始输出。
『保姆级』大模型教程来了（从入门到实战）
2301_76168381的博客
04-01 5498
在大模型的构建之下，AI自动化交互，将会决定世界的未来，谁的大模型更强大，将决定在遥远的未来的话语权，同时，大模型会成为AI基础设施。AI大模型，正在构建的颠覆力，为了更好的入局AI大模型，🔻 针对ChatGLM大模型，介绍ChatGLM模型微调。🔻 大模型的定义和特点，如预训练、微调、指令学习等。🔻 05 精读大模型-3论文、Instruct论文。🔻 04 GLM-130B训练营——论文泛读。🔻 05 GLM-130B训练营——论文精读。🔻 08 Alpaca训练营——论文精读。
在本地构建RAG应用程序：使用LLaMA和Ollama的完整指南
stjklkjhgffxw的博客
12-11 523
本文详细介绍了如何使用本地组件构建RAG应用程序，包括文档处理、向量存储和模型测试。可靠的本地RAG代理视频构建纠正性RAG的指南检索技术概念指南RAG指南的深入学习。
使用 LangChain、llama3、Qdrant、Redis 和 Streamlit 构建具有聊天历史记录的安全本地 RAG 应用程序
iCloudEnd的博客
07-28 124
数据在我们的日常生活中扮演着重要角色。但更重要的是我们如何处理和保护数据中包含的敏感信息。本指南专门针对那些重视隐私且不愿将数据发送给 LLM 提供商的人。耸耸肩，我无法比Apple每次在WWDC上所做的更好地介绍数据隐私😁 在本指南中，我将引导您构建可以在工作站或服务器上本地运行的安全本地RAG（检索增强生成）应用程序。
本地电脑大模型系列之 16 使用 LangGraph 和 Llama 3 的本地 Agentic RAG (教程含源码)
iCloudEnd的博客
07-30 396
语言模型本身无法采取行动——它们只是输出文本。代理是使用 LLM 作为推理引擎的系统，用于确定要采取哪些行动以及要传递哪些输入。执行行动后，结果可以传回 LLM，以确定是否需要采取更多行动或是否可以完成。它们可用于执行诸如搜索网页、浏览电子邮件、纠正 RAG 以在检索到的文档上添加自我反思或自我评分等操作。设置LangGraph—— Langchain 的扩展，旨在通过将步骤建模为图中的边和节点，使用 LLM 构建健壮且有状态的多参与者应用程序。
Ollama实现deepseek本地部署
驽马十驾，功在不舍；锲而不舍，金石可镂。
02-09 958
使用ollama，实现deepseek rag网页版本地部署。
部署一个本地的ChatGPT（Ollama）
qyhua的专栏
03-16 6200
部署一个本地的ChatGPT（Ollama）
部署Chat-ollama详细教程（包括本地部署和docker部署）windows操作系统
LY_LM的博客
05-09 8135
部署Chat-ollama详细教程（包括本地部署和docker部署）windows操作系统
三分钟搭建线上RAG应用，实现定制化的知识库问答
python123456_的博客
07-25 1574
由于大模型API价格已成白菜价，AI应用的开发将进入到RAG时代，而由于有了像阿里云百炼这样的一站式平台，普通开发者也能开发定制化的AI SaaS应用。遥想2023年的3月份，GPT-4的32k上下文的API价格是平均每千字就超过0.5元，如果是加上历史对话，简单的一个问题都要好几块钱。由于价格太贵，很多应用的开发都只停留在简单的对话上，而现在各种大模型成本的降低，才让RAG应用开发成了可能。
RAG 入门指南：从零开始构建一个 RAG 系统
mama19971023的博客
08-05 2052
在开始之前，我还是打算再次简要的介绍一下 RAG。在 Meta 的官方 Blog 上有这样一段话：这段话主要讲述了一个新的模型架构，也就是RAG (检索增强生成)的重要性和优势。可以概括为以下几点：1. 构建一个能够进行研究和上下文分析的模型虽然更具挑战性，但对未来的技术进步非常关键；2. 通过在知识密集的下游任务上微调，RAG 可以实现最先进的结果，比现有的最大的预训练序列到序列语言模型还要好；3. 与传统的预训练模型不同，RAG 的内部知识可以轻松地动态更改或补充。
从零开始学 langchain 之搭建最小的 RAG 系统
AAI666666的博客
04-22 2659
RAG 可以说是 23 年以来到现在，最为火热的大模型应用技术了，很多人都有了很多经典的研究。而对于新人来说，有些代码十分复杂，导致只看表象并不理解其原理。今天，就利用 langchain 和大家一起搭建一个最简单的 RAG 系统，一起来学习一下吧。
ChatOllama翻译
liujianming的博客
04-04 1086
翻译：ChatOllama 是一个基于 LLMs（大型语言模型）的开源聊天机器人。它支持多种语言模型，包括：- Ollama 服务模型- OpenAIChatOllama 支持多种类型的聊天：- 与 LLMs 自由聊天- 基于知识库与 LLMs 聊天ChatOllama 功能列表：- Ollama 模型管理- 知识库管理- 聊天- 商业 LLMs API 密钥管理- 加入我们的社区。
Chat Ollama docker部署及运行 本地大语言模型+本地知识库搭建 强烈推荐
细节处有神明的博客
04-10 7659
Ollama 是目前最流行的大模型本地化工具之一。Ollama 支持一系列开源大模型，包括主流的聊天模型和文本嵌入模型（Embedding Models）等。ChatOllama 是基于 Ollama 的 Web 应用，它可以让用户直接在浏览器中使用 Ollama。ChatOllama 支持多种大模型，包括 Ollama 支持的所有大模型，以及 OpenAI，Anthropic 的大模型。ChatOllama 的作者是 B 站的一名 up @五里墩茶社。
**使用 ChatOllama 本地运行开源大语言模型(Llama 2)**
AWsggdrg的博客
01-11 315
近年来，ChatGPT 等大语言模型 (LLMs) 的广泛应用使得 AI 技术成为开发者的重要工具。然而，许多模型需要依赖云平台，不仅在隐私和安全性上有所顾虑，而且还可能面临访问延迟的问题。ChatOllama是一项创新解决方案，它允许开发者在本地运行开源模型，例如 Llama 2，使得开发者能够完全控制模型的运行环境和数据。ChatOllama 将模型的权重、配置、数据等整合到单一的包中，大幅简化了模型的部署和优化，特别是在 GPU 环境下能充分发挥设备性能。
【AI大模型】ChatOllama-本地大模型+RAG知识库
2401_85325397的博客
12-03 1010
现在有很多支持本地运行大预言模型的项目和使用知识库的项目或者平台，之所以想介绍ChatOllama是因为个人使用过后感觉比其他项目好用。特别是它的本地知识库，也就是RAG问答效果，是我到现在用过的几个知识库中能检索到信息最准确的 虽然有不少平台支持知识库功能，但是实际使用的时候会发现检索回来的信息往往并不包含我们在知识库中提问的内容，RAG效果微乎其微
ollma部署本地模型+知识库
03-25
<think>好的，我现在要处理用户的问题，关于如何在本地部署Ollama模型并集成知识库。首先，我需要回忆一下之前提供的引用内容，看看里面有没有相关的步骤和方法。用户提到了引用1、2、3，都是关于本地部署大模型和知识库集成的。 首先，用户的问题涉及到Ollama的本地部署和知识库集成。引用1提到了在本地部署大模型和利用RAG构建知识库，引用2详细介绍了使用Dify与Ollama和DeepSeek结合搭建知识库，引用3提到了Ollama与LobeChat、AnythingLLM的结合。这些应该都是关键信息。 接下来，我需要整理出步骤。根据引用中的内容，Ollama的部署通常是通过Docker或者直接下载安装包。例如，引用2提到需要安装Docker Desktop和Ollama，然后拉取模型。这可能是一个步骤。然后，集成知识库可能需要用到像LangChain这样的框架，或者Dify这样的开源项目，如引用2和3所述。 然后，知识库的构建通常涉及文档加载、文本分块、向量化存储和RAG应用开发。引用1提到利用RAG，而引用3提到结合个人资料构建知识库。可能还需要向量数据库，比如Chroma，这在引用3的AnythingLLM中有提到。 另外，引用2中的Dify项目可以集成Ollama模型，并配置知识库，用户上传文档后，Dify会处理后续的流程。这可能是一个关键点，需要详细说明如何配置Dify与Ollama的连接，以及知识库的上传和处理步骤。 可能还需要注意模型的选择，比如DeepSeek或其他适合的模型，如何通过Ollama来管理这些模型。引用2中提到拉取模型命令，如`ollama pull deepseek-chat`，这需要包含在部署步骤中。 另外，引用3提到了LobeChat作为前端界面，配合AnythingLLM管理知识库，这可能也是一个可选方案，用户可能有兴趣了解不同的工具组合。 需要确保步骤清晰，分阶段说明：环境准备、模型部署、知识库集成、应用开发等。同时，要检查是否有遗漏的细节，比如Docker的安装、Ollama的基本命令、如何验证模型是否运行正常等。 还要注意用户可能遇到的问题，比如依赖项安装、端口配置、文档格式支持等，是否需要给出常见问题解决方法？不过用户的问题主要是方法，可能不需要深入排错，但可以提到注意事项，比如确保Ollama服务运行，文档格式处理等。 总结起来，回答的结构应该是先介绍Ollama的部署步骤，然后如何集成知识库，使用不同的工具如Dify、LangChain、AnythingLLM等，最后给出相关的问题建议。需要引用对应的引用来源，比如引用2中的Dify方法，引用3中的LobeChat和AnythingLLM方案。 需要确保使用正确的中文术语，比如“向量数据库”、“文本分块”、“RAG应用”等，并且按照用户的要求，行内公式用$...$，独立公式用$$...$$，但当前问题可能不涉及数学公式，但如果有的话需要注意格式。 最后生成相关问题，可能需要包括性能优化、模型选择、工具比较、数据处理技巧等，基于用户之前的示例和相关内容。 现在，需要将以上思考整理成结构化的回答，分步骤说明，引用对应的引用来源，并确保信息准确。</think>### 本地部署Ollama模型及集成知识库方法 #### 一、Ollama本地部署步骤 1. **环境准备** - 安装Docker Desktop（Windows/macOS）或直接通过命令行安装Ollama（Linux）[^2]。 - 下载Ollama安装包（支持多平台）：访问[Ollama官网](https://ollama.ai/)选择对应系统版本。 2. **运行Ollama服务** - 启动Ollama后，通过命令行拉取所需大模型。例如拉取`deepseek-chat`模型： ```bash ollama pull deepseek-chat ``` - 验证服务是否正常运行： ```bash ollama list # 查看已安装模型 ollama run deepseek-chat # 启动模型交互 ``` 3. **模型管理** - Ollama支持多模型共存，可通过`ollama pull <model-name>`添加新模型（如`llama3`、`mistral`等）[^3]。 --- #### 二、知识库集成方法 ##### 方案1：使用Dify平台（推荐）[^2] 1. **部署Dify服务** - 通过Docker快速启动Dify： ```bash docker run -d --name dify -p 80:3000 langgenius/dify:latest ``` 2. **配置Ollama连接** - 在Dify控制台的`模型供应商`中选择`Ollama`，填写API地址（默认`http://localhost:11434`）。 3. **上传知识库文档** - 支持PDF、TXT、Markdown等格式，Dify会自动执行文本分块、向量化（嵌入模型）和存储（使用PostgreSQL或Chroma向量数据库）。 4. **创建RAG应用** - 在Dify中新建“知识库应用”，关联已上传文档，即可通过对话界面实现基于知识库的问答。 ##### 方案2：LangChain + 自定义开发[^1] 1. **文档处理** ```python from langchain.document_loaders import DirectoryLoader loader = DirectoryLoader('./docs', glob="**/*.pdf") documents = loader.load() ``` 2. **文本分块与向量化** ```python from langchain.text_splitter import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter(chunk_size=500) chunks = text_splitter.split_documents(documents) ``` 3. **向量数据库存储** ```python from langchain.vectorstores import Chroma from langchain.embeddings import OllamaEmbeddings vectorstore = Chroma.from_documents(chunks, OllamaEmbeddings(model="nomic-embed-text")) ``` 4. **构建RAG应用** ```python from langchain.chat_models import ChatOllama retriever = vectorstore.as_retriever() qa_chain = RetrievalQA.from_chain_type(llm=ChatOllama(model="deepseek-chat"), retriever=retriever) ``` ##### 方案3：AnythingLLM + LobeChat[^3] 1. **部署AnythingLLM** - 通过Docker启动服务，配置Ollama作为LLM供应商。 2. **导入知识库** - 支持直接上传文档或同步Notion、网页内容。 3. **前端交互** - 使用LobeChat作为聊天界面，通过API连接AnythingLLM服务。 --- #### 三、关键注意事项 1. **硬件要求**：建议至少16GB内存，NVIDIA GPU可提升推理速度（需配置CUDA）。 2. **文档预处理**：复杂格式（如扫描PDF）需先用OCR工具提取文本。 3. **模型选择**：轻量级模型（如`deepseek-chat`）适合普通CPU环境，大参数模型需更高配置。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值