10分钟部署一个只属于你的大模型本地RAG知识库-下篇

Llama-Turbo Llama-Turbo 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1.9k累计阅读 1.9k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄4年
关注
原创 最新推荐文章于 2026-04-13 11:28:25 发布 1.9k 阅读 AI 写同款· GEO 优化 ›
使用LM Studio与Anything LLM基于Llama-3高效构建本地知识库系统 另外，也可以选择openai或AnythingLLM，如果选择AnythingLLM，如下图所示，列表了其支持的大语言模型，选择了对应的模型点击“save changes“时，在后台会下载对应的大模型到本地。针对测试人员，可以在构建的大型模型和知识库问答应用中进行快速测试，并跟踪各个环节的结果，如embedding的召回结果是否覆盖所有知识点，可通过接口调用日志进行快速查看。针对业务专家和产品设计人员，即使不懂代码，也能快速构建产品原型，了解基于大型模型知识体系的构建过程，并能选型大语言模型。 阅读详情

书接上回，上篇我们完成了ollama + docker的部署，这篇我们介绍dify的部署。

1. 通过https://github.com/langgenius/dify下载dify压缩包

2. 解压后，放在想放的路径下，然后运行以下两条命令

cd path_to_your_dify_folder/docker

docker compose up -d

3. 待按照完成后，我们运行

http://localhost/install

注册一个dify账户

  1. 注册完成后，通过http://localhost/signin登录

在设置界面找到ollama，配置我们的模型参数。

其中，模型是我们上一步下好的模型，模型名称要和下载模型一致

基础URL填写为：http://host.docker.internal:11434.

保持后，点击“工作室”，

点击知识库：

创建知识库，上传自己的文件：

在编排处写入提示词：

输出：最后会模型会从你的资料里查找相关的内容输出。

学废了吗？

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

标签
#llama #Llama3 #人工智能 #程序员 #langchain
#rag #知识库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Ollama 可以在 Windows 上运行了 阅读详情

相关推荐

Ollama入门教程：从安装到运行的完整指南

随着人工智能（AI）技术的快速发展，大型语言模型（LLMs）逐渐成为了各行各业的重要工具。然而，使用这些强大模型的同时，数据隐私、处理效率和部署复杂度等问题也逐渐浮现。为了解决这些问题，Ollama 提供了一种创新的解决方案——通过本地化部署大型语言模型，不仅能够增强数据隐私性，还能提高模型的运行效率。本文将详细介绍如何下载和安装 Ollama，如何选择和运行不同的语言模型，以及 Ollama 的特点、适用场景、优缺点等内容，帮助大家深入了解这一平台。ollama官网🚪 ollama官方文档🚪 根据自己

yoona333的博客 8293

最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）

最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）

Y525698136的博客 1658

5 分钟用满血 DeepSeek R1 搭建个人 AI 知识库（含本地部署）

备注：评论区回复“DeepSeek”，免费领取万字DeepSeek指南。看到这里，相信你已经找到最适合自己的 DeepSeek 个人知识库方案了。如果你和大多数人一样，选择使用官方 API ，那就不用再为性能和本地硬件资源发愁；如果你恰好有充足的算力和技术储备，本地部署也是个不错的选择。不过，在整个过程中，我想和你分享的不仅仅是这些技术细节。而是一个中国团队能做出世界级大模型，一个需要 +86 才能注册的大模型。很庆幸，我们能作为中国 AI 技术进步的见证人。当然，暂时的领先不是终点。

Jay的个人博客 6万+

本地LLM部署--LM Studio 初探秘

LM Studio提供了一个灵活、强大的平台，支持本地部署和微调LLM，适合对数据隐私要求较高的用户。未来可能增加更多本地化应用，如语音识别、视频分析等，随着硬件加速技术的发展，LM Studio的性能有望进一步提升，未来将支持更多的模型和插件，使得平台的适应性更强。它支持离线运行模型，并提供直观的界面，方便用户进行文本生成、模型微调和文档交互。LM Studio适合有一定技术背景的开发者和企业，特别是在数据隐私、模型微调和离线应用场景中具有独特的优势。

qq_43819568的博客 1万+

【AI+本地知识库】个人整理的几种常见本地知识库技术方案

个人整理的几种常见本地知识库技术方案，MaxKB，AnythingLLM，Langchain-Chatchat等

子晓聊技术 3万+

VSCode+PlatformIO新建工程卡成狗？3步提速大法实测有效（附镜像源配置）

针对VSCode+PlatformIO新建工程时因依赖下载缓慢导致的加载慢问题，本文提供了三步核心提速方案。通过配置Python环境变量、修改PlatformIO插件设置以使用国内镜像源，并优化pip配置文件，实测可大幅缩短工程创建时间，有效解决创建工程卡顿的痛点。

delta的博客 711

10分钟部署一个只属于你的大模型本地RAG知识库-下篇，大模型入门到精通，收藏这篇就足够了！

10分钟部署一个只属于你的大模型本地RAG知识库-下篇，大模型入门到精通，收藏这篇就足够了！

pythonhy的博客 812

vscode运行.ipynb代码时提示需要安装ipykernel包的解决办法

此文目的是为了记录遇到的一些问题，也希望能帮助到和我一样遇到困难的同学。如需转载，请注明出处。在使用vscode运行.ipynb文件中提示需要安装ipykernel包的提示，在网上查询了很多方法之后也是终于解决了问题。写下这篇博客也希望能帮到大家。

qq_58018041的博客 4万+

基于RAGFlow本地部署DeepSeek-R1大模型与知识库：从配置到应用的全流程解析

作为一名从业七年的程序员，最近听到很多程序员朋友都喜提了n+1裁员大礼包，在AI技术飞速发展的今天，我意识到程序员转型为AI工程师似乎是一个不错的选择。

c18213590220的博客 7171

中移物联ML307C模组OPENCPU开发环境搭建全攻略

本文详细介绍了中移物联ML307C模组OPENCPU开发环境搭建的全过程。从OPENCPU模式的核心优势解析，到SDK获取、Python与scons工具安装，再到解读SDK目录结构与实战编译命令，最后提供常见问题避坑指南，帮助开发者快速构建高效的物联网应用编译环境。

weixin_29168393的博客 742

别再只盯着YOLOv8了！手把手带你用PaddleDetection的PP-YOLOE+搞定你的第一个检测项目

本文介绍了PP-YOLOE+在目标检测领域的优势与应用实践，对比YOLOv8展示其在精度、速度和部署便利性上的突破。通过详细的代码示例和实战教程，帮助开发者快速上手PaddleDetection工具链，实现产业级目标检测项目，提升开发效率。

weixin_42701915的博客 185

10分钟搞定，DeepSeek+Ollama+MaxKB 本地部署完全指南，打造专属知识库

在 AI 大模型蓬勃发展的当下，将模型进行本地部署，打造属于自己的专属知识库，既能保证数据隐私，又能灵活定制使用场景，已经成为众多技术爱好者和开发者的热门选择。今天，我们就来详细介绍如何在 10 分钟内完成 DeepSeek、Ollama 和 maxkb 的本地部署，搭建属于你的智能知识问答系统。

2301_81940605的博客 6249

setup time和hold time的计算

内容仅仅为了方便记忆，与原理无关

sddhyl的博客 7816

【AI大模型】RAG 实践- Ollama+MaxKB 部署本地知识库

相对来说，容易安装且功能较完善，30 分钟内即可上线基于本地大模型的知识库问答系统，并嵌入到第三方业务系统中。缺点是如果你的电脑配置不高，问题回答响应时间较长。下图为 MaxKB 的产品架构：大模型作为新时代的风口，确实为那些希望转行或寻求职业突破的人提供了广阔的舞台。然而，是否选择进入这一领域还需综合考虑自身的兴趣、特长以及长远规划。通过构建基础知识体系、参与实际项目、拓展软技能、关注跨学科融合以及建立广泛的社交网络，你可以在这个充满机遇的新领域中迅速站稳脚跟。

zhishi0000的博客 1079

SAP ABAP Append structure 介绍

所有在 append structure 上增强的字段都是 append structure 的一部分，这意味着对这些增强所做的任何更改仅仅施加在 append structure 上，而不会影响被增强的 ABAP DDIC 结构。这同样适用于 transport. 激活数据库表或结构时，会找到所有关联的 append structure，并将它们的组件附加到数据库表或结构。Append structure(附加结构)是 ABAP 字典中附加到另一个结构或数据库表并将其组件附加到它们的结构。

2007 年 ~ 2025 年，深耕 SAP 技术 18 年 1165

4位无符号比较器设计

4位无符号比较器设计

好好学习，天天向上 7891

【大模型本地化部署】Ollama+MaxKB 部署本地知识库

本文我们介绍另外一种部署本地知识库的方案：Ollama+MaxKB 部署本地知识库

AGI_GGbond的博客 2885

儿童启蒙教育APP

pinyinList.add(createPinyin("a", "啊，像阿姨的阿", R.raw.pinyin_a));pinyinList.add(createPinyin("i", "衣，像衣服的衣", R.raw.pinyin_i));pinyinList.add(createPinyin("u", "乌，像乌鸦的乌", R.raw.pinyin_u));pinyinList.add(createPinyin("ü", "鱼，像小鱼的鱼", R.raw.pinyin_v));-- 固定竖屏 -->

寒寒豆豆软件公司的博客 167

RAG 实践- Ollama+MaxKB 部署本地知识库

RAG 实践- Ollama+MaxKB 部署本地知识库

2401_82469710的博客 908

OV9734 DATASHEET，完整规格书

OV9734完整规格书，包括电气参数，尺寸规格，寄存器配置表等

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等，可在创建的窗口进行控制

Ollama+AnythingLLM本地部署大模型DeepSeek，打造自己本地AI知识库

【喂饭教程】20分钟教会你本地部署DeepSeek-R1，并搭建自己的知识库（附Windows安装包+使用技巧），【AI】CherryStudio结合 Ollama 本地模型实现个人知识库，五分钟教你一键在WPS接入Deepseek，轻松配置API，实现智能对话、文档翻译等功能，全B站最用心的DeepSeek教程（没有之一），三分钟本地部署Qwen大模型，保姆级教程！超简单的部署教程，附安装包和微调文档！大模型如火如荼，DeepSeek异军突起，打造自己的AI知识库，学习大模型相关软件的使用和配合。

山塘小鱼儿的博客 1777

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

AI大模型本地部署：Ollama+MaxKB 部署本地知识库

AI大模型本地部署：Ollama+MaxKB 部署本地知识库

AAI666666的博客 3402

RAG实战：Ollama+MaxKB本地知识库部署

相对来说，容易安装且功能较完善，30 分钟内即可上线基于本地大模型的知识库问答系统，并嵌入到第三方业务系统中。缺点是如果你的电脑配置不高，问题回答响应时间较长。

2401_85390073的博客 1962

10分钟看明白爆火的本地知识库! 掌握本地知识库基本概念与RAG的完整架构

本文将用最通俗的语言，帮你理清知识库建设的核心概念，让你在10分钟内建立起完整的技术认知，轻松应对知识库选型难题。

m0_48891301的博客 780

大模型本地部署：Ollama+MaxKB 部署本地知识库

Ollama+MaxKB 部署本地知识库

2301_81940605的博客 2292
上一篇： 10分钟，部署一个只属于你的大模型本地知识库-上篇（纯教程）
下一篇： LM Studio本地离线部署大语言模型
点赞 18
评论 0
书签 书签 23
Llama-Turbo
Llama-Turbo
博客等级 码龄4年 9901粉丝 2022原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值