Ollama + AnythingLLM搭建AI知识库，无需编程，人人皆可上手

最新推荐文章于 2025-07-02 20:43:41 发布
最新推荐文章于 2025-07-02 20:43:41 发布
阅读量848 收藏 30
点赞数 26
CC 4.0 BY-SA版权
文章标签： 人工智能 ai 大模型学习路线 大模型 AI大模型 ollama LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_47933729/article/details/147766930

在本地电脑上跑大语言模型（LLM），已经不是什么高科技操作了。随着技术的迭代，现在利用Ollam和AnythingLLM就可以轻松构建自己的本地知识库，人人皆可上手，有手就行。过往要达成这一目标，可是需要有编程经验的。

前排提示，文末有大模型AGI-优快云独家资料包哦！

首先得了解一下背后的原理。大概就是三步走：一是LLM，大语言模型，懂得怎么处理自然语言。二是嵌入模型，它的工作就是把复杂的数据简化，转化成易于处理的格式。最后是向量数据库，专门存储和管理那些转化后的数据。

说实话，虽然文章有点长，但里面多是附加的资源和细节，实际上手操作真的挺简单的。感兴趣的朋友，动手试试吧，说不定用AI构建自己知识库这种事挺酷的。

现在，咱们来看看如何实操：

第一步：安装ollam

    1. ollam，这玩意儿现在可以说是跑大模型的神器。不管你用的是PC、Mac还是树莓派，只要内存够，跑起来都不是问题。记得，7B模型至少要8G内存，13B的要16G，想玩70B的大家伙，那得有64G。首先，去ollama.com下载适合你操作系统的版本，我用的是Windows，下载安装完之后，在命令行敲一下ollama -V，能看到版本号就说明安装好了。
    1. 下载适合本地电脑的大模型，ollama网站上有个“Models”链接，点进去找到“gemma”模型。在“Tags”里面找到你想运行的模型版本，比如“7b”，旁边有个复制按钮，点击后把命令复制下来。然后就是在命令行里跑这个命令，第一次运行会自动下载模型。下载完毕，就能开始和它聊天或者让它帮你写代码了。

终端输入：

ollama run llama2:7b

下载完成后，就进入交互模式，这就可以开始聊天了。

至此，Gemma 模型的_本地部署运行已经完成了_，非常简单。

  1. 使用像 ChatGPT 那样的现代的聊天窗口

虽然部署完成了，但是上面那种_古老的终端_可能影响我们的交互体验，下面提供两个现代聊天窗口工具（如果你不想使用这些GUI，这一步可以跳过，不影响本地知识库搭建，直接去看下面的第二步：AnythingLLM安装）：chatbox 和 openai web ui。

第一个：chatbox

打开设置，模型提供方选 ollama，API 地址是本地的 11434 端口，模型选 gemma:7b。

地址：https://chatboxai.app/zh

第二个：openai web ui

如何安装🚀
请注意，对于某些 Docker 环境，可能需要额外的配置。如果您遇到任何连接问题，我们有关Open WebUI 文档的详细指南随时可以为您提供帮助。

快速开始使用 Docker 🐳
使用 Docker 安装 Open WebUI 时，请确保 -v open-webui:/app/backend/data 在 Docker 命令中包含 。此步骤至关重要，因为它确保您的数据库正确安装并防止任何数据丢失。

  • • 如果 Ollama 在您的计算机上，请使用以下命令：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  • • 如果 Ollama 位于不同的服务器上，请使用以下命令：
# 要连接到另一台服务器上的 Ollama，请将 更改 OLLAMA_BASE_URL 为服务器的 URL：   docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装完成后，您可以通过 http://localhost:3000 访问 Open WebUI。享受！😄

打开 WebUI：服务器连接错误
如果您遇到连接问题，通常是由于 WebUI docker 容器无法访问容器内位于 127.0.0.1:11434 (host.docker.internal:11434) 的 Ollama 服务器。使用 --network=hostdocker 命令中的标志来解决此问题。请注意，端口从 3000 更改为 8080，导致链接：http://localhost:8080。

Docker 命令示例：

docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

其他安装方法
我们提供各种安装替代方案，包括非 Docker 方法、Docker Compose、Kustomize 和 Helm。请访问我们的 Open WebUI 文档或加入我们的 Discord 社区以获得全面的指导。

安装文档地址：🏡 Home | Open WebUI

https://docs.openwebui.com/

上面只是让模型不足到本地下面来构建本地知识库，如果仅仅是构建本地知识库的话上面那些 GUI 可以不安装，下面开始_正题_：下载本地知识库软件：

第二步：AnythingLLM安装

下载地址：https://useanything.com/download

产品概述

AnythingLLM 是一个全栈应用程序，您可以使用商业现成的 LLM 或流行的开源 LLM 和 vectorDB 解决方案来构建私有 ChatGPT，无需任何妥协，您可以在本地运行，也可以远程托管并能够智能聊天以及您提供的任何文件。

AnythingLLM 将您的文档划分为名为 workspaces 的功能很像线程，但增加了文档的容器化。工作区可以共享文档，但它们不会相互通信，因此您可以保持每个工作区的上下文干净。

AnythingLLM 的一些很酷的功能

以下是 AnythingLLM 的一些酷炫功能：

    1. 支持多用户实例和权限
    1. 新的自定义可嵌入式聊天小部件，可以嵌入到你的网站
    1. 支持多种文件类型（PDF，TXT，DOCX等）
    1. 通过简单的用户界面管理你的向量数据库中管理文件
    1. 提供两种聊天模式：对话和查询。对话保留先前的问题和修订。查询是针对文档的简单QA
    1. 聊天过程中的引用
    1. 100%适合云部署。
    1. “自带LLM”模型
    1. 处理大文件时极有效的节约成本措施。你永远不必为将大型文件或记录输送到聊天机器人中支付费用，比其他的文件聊天机器人解决方案节省90%的费用。
    1. 提供全面的开发者API用于自定义集成！

同类开源项目大多基于Python语言开发。AnythingLLM采用了Javascript，前端用React，后端用Node，对于全栈工程师非常友好。

  • • 前端： React和ViteJS，实现创建和管理大模型用到的知识库

  • • 后端： Node.js Express框架，实现向量数据库的管理和所有与大模型的交互

  • • 采集器： Node.js Express框架，实现对文档的处理解析

多用户模式

这一点对于企业级应用特别关键，AnythingLLM支持多用户模式，3种角色的权限管理。

系统会默认创建一个管理员（Admin）账号，拥有全部的管理权限。

第二种角色是Manager账号，可管理所有工作区和文档，但是不能管理大模型、嵌入模型和向量数据库。

普通用户账号，则只能基于已授权的工作区与大模型对话，不能对工作区和系统配置做任何更改。

打开ollama端口：

Ollama其实有两种模式：

    1. 聊天模式
    1. 服务器模式

这里使用服务器模式，Ollama在后端运行大模型，开发IP和端口给外部软件使用。

ollama serve

通过终端或者命令行，访问 http://localhost:11434 进行验证：

curl http://localhost:11434

如果看到以下输出，表示Ollama正在运行：

Ollama is running

下载AnythingLLM之后开始进入启动的配置阶段，开始之前请确保 ollama serve 运行，或者终端执行 ollama run xxx（任何一个模型）。

否则，AnythingLLM和其他依赖于Ollama端口的软件（前面的几个GUI）会运行不了或者找不到模型，错误如下：

启动并配置AnythingLLM
搭建一个本地知识库，会涉及到三个关键：``1. LLM Model，大语言模型。它负责处理和理解自然语言。``2. Embedding Model，嵌入模型。它负责把高维度的数据转化为低维度的嵌入空间。这个数据处理过程在RAG中非常重要。``3. Vector Store，向量数据库，专门用来高效处理大规模向量数据。

本地大模型选择

选择 Ollama，填入 Ollama 的 http://host.docker.internal:11434 端口，然后选择你下载的模型。当然你也可以使用 OpenAI，使用更强大的云端模型，提供基础模型支持。但这样的话，就不是完全本地化的私有部署了。

Embedding 配置

可以选择：https://ollama.com/library/nomic-embed-text 或者 AnythingLLM 自带的 AnythingLLMEmbedder。

向量数据库配置

AnythingLLM 默认使用内置的向量数据库 LanceDB。这是一款无服务器向量数据库，可嵌入到应用程序中，支持向量搜索、全文搜索和 SQL。我们也可以选择 Chroma、Milvus、Pinecone 等向量数据库。

我选择了 LanceDB。你想修改前面的推理模型或者嵌入模型，以及下列数据库，注册完成之后，可以在后台设置修改。

完成上述登录配置操作之后，让我们进入界面介绍（如下图）。

导入外部 Documents

AnythingLLM 可以支持 PDF、TXT、DOCX 等文档，可以提取文档中的文本信息，经过嵌入模型（Embedding Models），保存在向量数据库中，并通过一个简单的 UI 界面管理这些文档。

为管理这些文档，AnythingLLM 引入工作区（workspace）的概念，作为文档的容器，可以在一个工作区内共享文档，但是工作区之间隔离。AnythingLLM 既可以上传文档，也可以抓取网页信息。

将文档保存嵌入工作区向量数据库

根据知识库中上传的文档，进行知识问答。

RAG 智能问答

Ok，经过我们前面所有的艰难准备，现在正式部署成功，让我们来体验一下：

相比文档中的原文，大模型给出的回答还不够准确（与选择的基础模型有关，我自己的笔记本电只能跑 gemma: 6b 的），未来，这套系统还可在文本召回和重排等方面，进一步调优和完善。

点击空间的设置按钮并切换为Query状态后，模型将仅在找到文档上下文时提供答案（回答会更加绑定于知识库）。

后面是一些API操作：

生成系统 API 私钥

设置 API 访问授权密码

系统提供的 API 列表

总结

常见错误：
    1. 本地运行大模型耗资源，需要选择较小的模型作为基础模型。在终端中运行时可能会出现 CUDA 错误，表示显存不足，导致提供的端口失效。

    1. 中文支持不够完善。

  4. 3. 文中提到的技术软件工具有：Ollama、Chatbox、Open WebUI、向量数据库、嵌入模型、本地模型 Gemma、AnythingLLM

附加信息：

在本地快速运行大模型，可以使用 Ollama 和 Hugging Face。Hugging Face 提供了两种方式来访问大模型：

    1. Inference API （Serverless）：通过 API 进行推理。
    import requests      API_URL = "https://api-inference.huggingface.co/models/meta-llama/Llama-2-7b-hf"   headers = {"Authorization": "Bearer xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"}      def query(payload):       response = requests.post(API_URL, headers=headers, json=payload)       return response.json()      output = query({       "inputs": "Can you please let us know more details about your ",   })
    1. 本地执行：使用 Hugging Face 的 pipeline 来进行高级操作。
    from transformers import pipeline      pipe = pipeline("text-generation", model="meta-llama/Llama-2-7b-hf")

使用 Hugging Face 对于不懂编程的人来说可能比较困难，因为需要申请 API Key 并且需要本地有 Python 或其他编程语言的环境。而使用 Ollama 来运行本地大模型则更加简单。

最先掌握AI的人，将会比较晚掌握AI的人有竞争优势

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

倘若大家对大模型抱有兴趣，那么这套大模型学习资料肯定会对你大有助益。

针对0基础小白：

如果你是零基础小白，快速入门大模型是可行的。
大模型学习流程较短，学习内容全面，需要理论与实践结合
学习计划和方向能根据资料进行归纳总结

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

请添加图片描述

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

👉大模型视频和PDF合集👈

这里我们能提供零基础学习书籍和视频。作为最快捷也是最有效的方式之一，跟着老师的思路，由浅入深，从理论到实操，其实大模型并不难。

在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

【DeepSeek应用实践】手把手教程：用 AnythingLLM + Ollama + DeepSeek-R1 搭建本地企业知识库
寻道AI，探索AI无限可能！
03-28 1675
在众多的技术方案中，我们选择了 AnythingLLM、Ollama 和 DeepSeek-R1 这一组合来搭建本地知识库。Ollama 作为一个轻量级的本地化大语言模型部署工具，支持多种模型，易于安装和使用，能够快速在本地运行强大的语言模型。DeepSeek-R1 是一个专为知识库问答设计的检索增强生成（RAG）模型，它结合了检索和生成的优势，能够快速从知识库中检索相关信息并生成精准答案。而 AnythingLLM 则是一个用户友好的界面工具，可以方便地连接 Ollama 和 DeepSeek-R1
手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！
2401_86435672的博客
09-20 1万+
本地运行大模型耗资源，需要选择较小的模型作为基础模型。在终端中运行时可能会出现 CUDA 错误，表示显存不足，导致提供的端口失效。中文支持不够完善。\3. 文中提到的技术软件工具有：Ollama、Chatbox、Open WebUI、向量数据库、嵌入模型、本地模型 Gemma、AnythingLLM。
Ollama + AnythingLLM 本地部署，NAS 打造个人 AI 知识库
最新发布
2401_85378759的博客
07-02 960
摘要：本文介绍了将Ollama与AnythingLLM结合在NAS本地部署的方法，打造个人AI知识库。AnythingLLM是一款全栈应用，支持多文档格式转换、多用户管理及多种LLM模型选择。文章详细讲解了Docker Compose安装步骤和使用方法，包括模型对接测试、文档上传、知识库设置等功能体验。尽管知识库匹配效果有待优化，但AnythingLLM界面简洁、操作友好，特别适合新手入门使用。最后还提供了大模型学习资料福利，包含学习路线、实战案例等资源。
基于Ollama+AnythingLLM搭建本地私有知识库系统
热门推荐
sheex2012的博客
04-30 5万+
本文介绍了LLM在落地应用中的不足，并引入了RAG框架和原理，以及RAG在私有知识库建设中的重要作用。并以Ollama和AnythingLLM为实现手段，构建了并测试了本地知识库，测试结果表明，有了RAG的加持，LLM的回答结果更加贴切，有效。
使用ollama + AnythingLLM快速且简单的在本地部署llama3
2401_85327249的博客
07-18 2194
因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费。
全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！
lythinking的博客
04-15 7078
本地运行大模型耗资源，需要选择较小的模型作为基础模型。在终端中运行时可能会出现 CUDA 错误，表示显存不足，导致提供的端口失效。若使用Hugging Face，需要申请 API Key 并且需要本地有 Python 或其他编程语言的环境。而使用Ollama则更加简单。✨ AI算法工程师 | AIGC技术实践者 🚀🎵 知音难求，自我修炼亦艰。📚 吾生也有涯，而知也无涯。🌌 AIGC时代，立志成为超级个体：抓住前沿技术的机遇，与我们一起成为创新的超级个体。✉️ 回复“群聊”，就能和大家嗨聊！
RAG 实践-Ollama+AnythingLLM 搭建本地知识库
2401_84495872的博客
06-12 2010
RAG，即检索增强生成（Retrieval-Augmented Generation），是一种先进的自然语言处理技术架构，它旨在克服传统大型语言模型（LLMs）在处理开放域问题时的信息容量限制和时效性不足。RAG的核心机制融合了信息检索系统的精确性和语言模型的强大生成能力，为基于自然语言的任务提供了更为灵活和精准的解决方案。
【AI大模型】Ollama+open-webuiAnything LLM部署本地大模型构建RAG个人知识库教程
neeef_se的博客
12-25 1458
如果需要，可以使用AnythingLLM的开发者API进行自定义集成，以满足特定的业务需求。
深度解析RagFlow：本地大模型驱动的高效知识库应用搭建指南
zhz5214的博客
05-12 919
摘要：RagFlow 凭借其丰富的功能、强大的数据处理能力和灵活的配置选项，为用户提供了构建高效知识库应用的优质方案。尽管部署过程可能具有一定挑战性，但对于追求个性化、专业级知识管理与问答服务的用户和团队来说，它无疑是一个极具价值的选择。
Spring AI，搭建个人AI助手
qq_42969817的博客
01-28 2010
本期主要为实操性内容，聊聊AI大模型，并使用Spring AI搭建属于自己的AI助手、知识库。 本期所需的演示源码笔者托管在Gitee上（https://gitee.com/catoncloud/spring-ai-demo），读者朋友可自行查阅。
基于Ollama+AnythingLLM轻松打造本地大模型知识库
qq_44373268的博客
05-03 6957
Ollama是一个开源的大型语言模型服务工具，它帮助用户快速在本地运行大模型。通过简单的安装指令，用户可以执行一条命令就在本地运行开源大型语言模型，如Llama 2和最新开源的Llama 3。Ollama极大地简化了在Docker容器内部署和管理LLM的过程，使得用户能够快速地在本地运行大型语言模型。AnythingLLM 是 Mintplex Labs Inc. 开发的一款可以与任何内容聊天的私人 ChatGPT，是高效、可定制、开源的企业级文档聊天机器人解决方案。
【保姆级教程】本地离线部署大模型Ollama+AnythingLLM！
2301_76161259的博客
02-07 4161
好多同学不知道怎么下载需要用到的工具，我这里给大家都准备好了，需要的文末领取。qwen7b.gguf是阿里巴巴的通义千问大模型，7B大模型，7亿参数，至少需要8G内存，越大回复越流畅，下载完后，双击OllamaSetup，自动安装成功，默认安装在C盘，不能选择安装路径的哦，安装完后，右下角会出现Ollama图标。OLLAMA_MODELS，随意指定变量值，如图所示：Python选择右键小图标，然后退出，在开始菜单中找到重启Ollama在blobs下创建Modelfile文件，没有后缀。
ollama+anythingllm==构建本地知识库
hebian1994的博客
05-06 3295
测试下文本问答，可以看到走的GPU,并且可以在ollama服务端看到了来自anythingllm的请求日志。安装完成后打开，输入ollma服务器的地址，然后可以选择使用ollama中的哪个模型。然后再问，可以发现这下准了，所以准确度还是对投入的文档有一定的准确度要求的。此时模型会被自动下载到环境变量配置的地址，并且启动一个对话界面。配置ollama环境变量，调整模型存放的位置。自己写手写个TXT吧，我在TXT里写的内容为。右下角退出ollama程序，然后再次启动。安装ollama，自动安装到C盘。
AnythingLLM + Ollama 实现私有知识库
2301_76168381的博客
01-29 4235
是一款开箱即用的一体化 AI 应用，支持 RAG（检索增强生成）、AI 代理等功能。它无需编写代码或处理复杂的基础设施问题，适合快速搭建私有知识库和智能问答系统。通过和Ollama的结合，我们成功搭建了一个具备私有知识库能力的 AI 应用。私有知识库不仅可以让 AI 回答通用问题，还能基于私有文档（如企业内部资料、图书等）生成更精准的答案。❝注意： 随着知识库中文档数量的增加，回答的准确性可能会受到影响。建议将文档分散到多个工作区，以提高检索效率。
速通秘籍！Ollama + AnythingLLM，手把手教你搭建本地大模型
大模型研究中心
02-10 3519
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。天道酬勤，你越努力，就会成为越优秀的自己。
AnythingLLM+Ollama，能否打造你的专属个性化AI助手？
xx_nm98的博客
10-24 6337
AnythingLLM是一个AI聊天系统，它允许用户构建自己的私人ChatGPT。与依赖云服务的AI工具不同，AnythingLLM支持本地开源和商用闭源的大语言模型（LLM），用户可以根据自己的需求和预算选择合适的模型。
【大模型】Ollama+open-webui/Anything LLM部署本地大模型构建RAG个人知识库教程（Mac）
后端研发工程师Marion的博客
06-05 1万+
如果需要，可以使用AnythingLLM的开发者API进行自定义集成，以满足特定的业务需求。
最近，大模型岗位爆了。。。
2301_82275412的博客
04-29 1347
重磅消息，国资委打响了国内AI第一枪！这意味着传统行业又迎来了一次大洗牌，现在国内头部人工智能公司已经开始用AI数字人助力各行各业，。除此之外，知名大厂也都在布局AI市场。懂的程序员年薪已经翻到风口之下，与其焦虑被行业淘汰，不如先人一步掌握 AI 大模型技术。为帮助大家提升竞争力，为了帮助普通程序员享受时代红利，掌控AI大模型技术，成为超级个体，给大家带来了AI大模型全套资料。
deepseek+ollama+anythingLLM 搭建本地知识库
02-12
### 使用 DeepSeek、Ollama 和 AnythingLLM 构建本地知识库 #### 准备工作 为了成功构建包含 DeepSeek、Ollama 和 AnythingLLM 的本地知识库，需先确认环境配置满足最低硬件需求，并完成必要的软件安装。 - **操作系统支持**：Linux, macOS 或 Windows (建议使用 WSL2)[^1]。 - **依赖项准备**：Python 3.x 版本及其开发工具链；Docker 及 Docker Compose 安装完毕并能正常运行[^2]。 #### 配置与部署 ##### 获取所需资源 通过命令行拉取最新版本的 Ollama 模型文件至本地存储： ```bash ollama pull bge-m3 ``` 此操作会下载指定的大规模预训练语言模型及相关组件，确保后续处理流程顺利进行。 ##### 初始化项目结构 创建一个新的目录用于存放整个项目的源码以及相关配置文件。在此基础上初始化 Git 仓库以便于版本控制管理。 ```bash mkdir my_local_knowledge_base && cd $_ git init . ``` ##### 设置 DeepSeek 环境变量 编辑 `.env` 文件加入如下内容以适应特定场景下的参数调整（如 API 密钥、端口映射等）。这一步骤对于保障系统的稳定性和安全性至关重要。 ```plaintext DEEPSEEK_API_KEY=your_api_key_here PORT=8080 DEBUG=True ``` ##### 整合 AnythingLLM 平台 利用 AnythingLLM 提供的功能接口快速对接各类外部数据源，包括但不限于静态 HTML 页面、PDF 文档集或是关系型数据库表单记录。具体实现方式可参照官方文档说明中的 Python SDK 应用实例。 ```python from anythingllm import DocumentLoader, KnowledgeBaseBuilder loader = DocumentLoader(source="path/to/your/documents") builder = KnowledgeBaseBuilder(loader) knowledge_base = builder.build() ``` #### 启动服务 一切就绪之后，在终端执行启动脚本来激活全部微服务单元，使之协同运作形成完整的解决方案栈。 ```bash docker-compose up -d --build ``` 此时访问 `http://localhost:8080` 即可见证由 DeepSeek 加持的人工智能驱动的知识检索界面雏形初现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值