快速搭建自己的RAG知识库(Ollama、Page Assist、Anything LLM)

Ollama 可以在 Windows 上运行了 阅读详情

RAG 简介

先解释一下字面意思:RAG Retrieal-Augmented Generation 检索增强生成。

RAG 可以帮助我们减少大模型的“幻觉”问题,还可以注入最新资讯及特定领域的关键信息,是一种低成本(相比于模型微调,肯定是成本低得多)的让大模型知道专业领域知识或者一些隐私数据的手段。

RAG 工作的大致流程:

  1. 首先将我们的知识库(一些专用领域的数据或者隐私数据等,可以是 PDF、CSV、txt、md 等多种格式)分割为文本块。
  2. 使用 Embedding Model 将文本块转为向量(Vector Embeddings)。
  3. 存储到向量数据库(可以作为AI的长期记忆库)。
  4. 向量数据库检索的信息将被作为 Context,结合用户的输入生成提示词喂给 LLM。

量化工具

要搭建 RAG 知识库首先我们需要找到一个合适的量化工具,把我们的“知识”做量化处理,否则大模型是无法理解这些“知识”的。

可以在Ollama官方提供的模型中找到 nomic-embed-text 模型,这是一个比较流行的高性能文本嵌入模型。

输入以下命令就行下载:

ollama pull nomic-embed-text

Page Assist

Page Assist 是一个谷歌浏览器的插件,直接提供 Web UI 页面可以访问我们的本地大模型。

下载并安装这个插件之后点击这个插件可以直接打开一个Web页面。

如下图所示,点击右上角设置:

在这里插入图片描述

在点击 RAG 设置,主要就是配置文本嵌入模型。

在这里插入图片描述

再点击“管理知识”,添加我们想要大模型学习的文件即可。

在这里插入图片描述

这里我添加了一下我前东家的一个企业文化相关的文档。

在这里插入图片描述

提交后等待处理完成,刷新页面配置好我们的知识库。

在这里插入图片描述

我们对比一下不配置知识库和配置了知识库生成的结果会有什么区别。

先看看没有配置知识库的回答,不能说毫不相关吧,只能说完全不知所云,满分100分只能打0分。

在这里插入图片描述

再来看看结合了知识库的回答,虽然没有完全正确,但是也已经非常接近正确答案了,满分100分能打90分,目前我跑的模型只是7B的,网上说14B+的模型效果会好很多。

在这里插入图片描述

Anything LLM

Anything LLM 也是一个开箱即用的AI工具,是一个桌面端的应用,比前面介绍的 Page Assist 要更加强大。

先进行基本配置:

在这里插入图片描述

在这里插入图片描述

向量数据库选默认的就好,Embedder 首选项还是选我们的 Ollama 的 nomic-embed-text,记得都要点保存。

然后,添加知识库相关的文件,Anything LLM比较强大,添加的文件可以是文本、音视频、图片、网页等。

在这里插入图片描述

在这里插入图片描述

还是刚才前文中那个问题,这个回答就非常好了,满分100分可以打99分了。

在这里插入图片描述

同样我也试了一下把知识库删掉会是效果,还是已读乱回。

在这里插入图片描述

如何零基础入门 / 学习AI大模型?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高

那么我作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,希望可以帮助到更多学习大模型的人!至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

👉 福利来袭优快云大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

read-normal-img

640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

👉 福利来袭优快云大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈

img

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

DeepSeek本地部署详细指南 通过上述步骤,你可以在本地成功部署DeepSeek模型,并通过Ollama或Open Web UI与模型进行交互。本地部署不仅能够保护数据隐私,还能根据需求灵活调整模型参数,满足不同场景下的使用需求。如果你在部署过程中遇到任何问题,可以在评论区留言,我们将一起解决。希望这篇教程能帮助你顺利部署DeepSeek模型,开启高效开发的新旅程! 阅读详情

相关推荐

本地部署大模型:无限制使用的原理、硬件门槛与RAG实战

大语言模型(LLM)的本地部署,本质是将推理过程从云端服务迁移至用户自有硬件,从而摆脱API调用限制、内容审查和用量配额等云服务约束。其技术原理基于网络层、资源层与协议层的三重隔离,核心价值在于数据主权可控与私有知识融合。在工程实践中,硬件选型需匹配实际场景——如Phi-3-3.8B可在GTX 1060上轻量运行,而DeepSeek-R1-14B则依赖RTX 4080及以上显存;RAG(检索增强生成)成为打通本地模型与私有文档的关键路径,结合Ollama与Anything LLM可实现PDF/Excel/D

weixin_34115824的博客 445

一文彻底整明白,基于Ollama工具的LLM大语言模型Web可视化对话机器人部署指南

在上一篇博文中,我们在本地部署了**Llama 3 8B**参数大模型,并用 Python 写了一个控制台对话客户端,基本能愉快的与 Llama 大模型对话聊天了。但控制台总归太技术化,体验不是很友好,我们希望能有个类似 ChatGPT 那样的 Web 聊天对话界面,本博文就安排起来……

老牛啊 1万+

从零开始:如何用Page Assist和DeepSeek打造你的私有AI助手

本文详细介绍了如何利用Page Assist浏览器插件和DeepSeek本地AI模型,从零开始构建私有AI助手。通过Ollama环境配置、DeepSeek模型部署及Page Assist插件安装,实现数据隐私保护与定制化AI应用,特别适合开发者和技术爱好者。

weixin_29266647的博客 383

使用ollama在本地部署llama3-8b大模型

使用ollama在本地部署llama3-8b大模型

weixin_39945822的博客 1万+

LLM的MCP协议:初识MCP,搭建第一个MCP Server

MCP(Model Context Protocol),是一个开发的协议,标准化了应用程序如何为大模型提供上下文。MCP提供了一个标准的为LLM提供数据、工具的方式,使用MCP会更容易的构建Agent或者是基于LLM的复杂工作流。

Criss@陈磊 2万+

deepseek实战教程-第十一篇:如何实现RAG私有知识库

网页版DeepSeek”即官方聊天界面,它。不过,你可以通过其他方式实现RAG的核心目标。

极客栈 318

Ollama Page Assist

Ollama Page Assist 是一个开源浏览器扩展,支持Chromium和Firefox浏览器,可将本地大语言模型(如Ollama)集成到浏览器中。它提供侧边栏聊天、文档分析、视觉问答等功能,所有数据处理均在本地完成,保障隐私安全。用户可通过简单的安装和配置,实现网页内容总结、文件解析、代码辅助等操作。该工具支持多种本地模型,推荐8GB以上内存设备使用,适合研究、编程等场景。安装后需连接Ollama服务器并配置模型,支持PDF/TXT等文件上传及互联网搜索功能。常见问题包括连接失败、模型加载错误等,

m0_57545130的博客 1194

Page Assist上手:给Ollama本地大模型装上浏览器界面,聊天摘要文档全搞定

本地大模型凭借数据不出本机、离线可用等优势,正成为隐私敏感场景下的热门选择。Ollama 作为一键运行工具,简化了模型拉取与推理流程,但默认的命令行交互限制了其易用性。浏览器插件 Page Assist 本质上是一个纯前端客户端,通过对接 Ollama 的 API 服务,将对话入口迁移到浏览器中,同时补上网页正文提取、PDF/Markdown 文档问答和轻量级 RAG 知识库能力。它解决了终端操作中上下文难以管理、参数调节不直观、无法直接读取网页等痛点,为高频浏览器用户提供了随叫随到的私人 AI 助手。无论

weixin_42667269的博客 167

本地 AI 模型住进浏览器侧边栏:Page Assist 四步快速上手指南

读英文论文时卡在一个术语上,不想把整页内容复制粘贴到别处?Page Assist 帮你把这件事留在了当前页面:它是一个开源的本地大模型浏览器插件,把 Ollama、LM Studio 等本地 AI 模型接入浏览器侧边栏 AI 对话窗,任何网页上都能直接提问,数据不出本机。 ## 3 分钟装好本地 AI 侧边栏 整个安装过程只有四步,全部在本地完成。 1. 安装 Ollama 并确认服务启动,

gitblog_00979的博客 894

一、数学建模层次分析法(AHP)【清风数学建模个人笔记】

层次分析法: 层次分析法主要用于解决评价类问题(例如:选择哪种方案更好、哪位员工、运动员等表现得更优秀) 评价类问题: 分析问题得出评判问题的子标,分别给不同子标赋予权重(权重和要为1) ...

m0_58882109的博客 1万+

Multisim实现555计时器模拟简易电子琴

一. 元器件介绍 这里用到的元器件有: DIgital power(VCC)数字电源 频率计数器(XFC) 示波器(XSC) ground 数字地 Capacitan 电容器 Resistor 电阻器 555_VIRTUAL 555计时器 触发按键(DIPSW)(DPST)(SPST)

是你呀星途的博客 2万+

私有化搭建、本地知识库、可联网查询、具备RAG能力的私人DeepSeek

对私有化部署的DeepSeek进行设置,搭建本地知识库、联网搜索、RAG(检索增强生成),以实现私人专属AI大模型。

云计算课代表 2052

SAP EWM 内向交货流程(一)

本文介绍了SAP EWM系统中内向交货单的基本配置与操作流程。

huqinghai的专栏 2402

ollama+deepseek+RAG打造本地知识库

CherryStudio 是一款好用的 AI 客户端,支持多种大型语言模型的服务,提供直观的可视化界面和远程 API 接口,旨在降低对本地硬件的依赖,提升使用效率。首先访问官方 https://ollama.com/download,根据你当前电脑的系统,下载对应版本的 Ollama,然后安装即可。AnythingLLM 是一款支持本地部署的 AI 工具,允许用户在本地运行和管理大型语言模型,提供可视化界面,方便用户与模型进行交互。简单的说,RAG可以将本地知识库中的内容进行处理,便于大语言模型使用。

青龙小码农 1830

告别手动连接!一键搞定Mumu模拟器与Android Studio的ADB配置

本文详细介绍了如何通过编写自动化脚本,一键完成Mumu模拟器与Android Studio的ADB连接配置。告别繁琐的手动命令输入,该脚本能智能检查环境、判断连接状态并自动处理端口转发,显著提升Android开发者的调试与测试效率。

yog99的博客 498

开源ISP介绍(1)——开源ISP的Vivado框架搭建

ZYNQ视频图像处理系统,ISP图像处理硬件实现

路漫漫其修远兮,吾将上下而求索 3292

DeepSeek 只是聊天工具?装上这个插件,它瞬间变成你的本地知识库

不是的,DeepSeek(尤其是 DeepSeek-R1 系列)远不止是一个在线聊天界面。2025–2026 年以来,大量用户通过几种非常成熟的,把 DeepSeek 彻底变成了,完全离线运行(或混合模式),支持上传 PDF、Word、Obsidian 笔记、Markdown、代码仓库等资料,提问时自动检索 + 引用原文。下面给你最主流、最稳定的几种玩法(按上手难度从小到大排序),都是真实用户在 2025 下半年到 2026 年初反复验证的高频方案。

likuolei的博客 5907

Android14 Qcom 从Framework到Driver带你打开WIFI(二)

上篇文章讲到了UI打开WIFI以后,逐步调用到加载底层驱动以及通知等相关流程。这篇接着上文继续往下看WIFI ON的后续动作。

IAYLBL的博客 768

Page Assist 接入 Ollama 完全指南:本地模型自动检测、多实例配置与连接问题排查

本指南面向使用 [Page Assist](https://link.gitcode.com/i/6bc5292712ceaf6c5f8fd2d75a7e64df) 浏览器的用户,讲解如何将本地运行的 Ollama 大语言模型接入 Page Assist,用于网页阅读辅助、侧边栏聊天等场景。读完本文,你将掌握 Ollama 的零配置自动接入方式、多实例(多 URL)手动配置流程,以及常见的 COR

gitblog_00984的博客 1132

【NLP】第十章:位置编码Positional Encoding

前面讲RNN时一般都会有一个ht的输出,这个输出就是样本与样本之间的信息,而且RNN是时序循环的,所以RNN本身的结构,在物理上,就自带词的前后顺序信息的。比如词never,不管never本身的词向量是什么,只要你在序列中排第一个位置,你的位置向量就是[0,1,01],你排第三个位置,你的位置向量就是[0.9,-0,4,0.2,1.0]。也所以,你可以理解为:embedding后的词嵌入,PE按照每个样本在sequence中的位置,把embedding后的词嵌入给扭转后,才送入attention的。

因为热爱所以坚持 1918

Unity 横版游戏开发天花板?状态机、联机同步与横版动作游戏架构全都有

在 Unity 横版动作游戏开发领域,最耗时间的往往不是角色移动,而是整套“可扩展架构”的搭建。包括角色状态管理、敌人 AI、武器系统、关卡编辑器、联机同步、输入适配、UI 与存档系统等。2D Action Platformer Kit 的核心价值,并不只是“提供素材”,而是它已经帮开发者搭好了一整套适用于横版动作游戏的底层框架。

2403_88403568的博客 425

【本地 DeepSeek + Page Assist:让 AI 读懂任意网页的完整指南】

本文介绍了如何使用Page Assist插件结合本地Ollama服务,让AI模型(如DeepSeek、Qwen)直接解析网页内容。主要内容包括:Firefox插件安装、本地Ollama服务配置、网页内容注入功能的使用方法,以及进阶的RAG知识库设置。文章提供了详细的操作步骤、模型性能对比、实用Prompt示例和常见问题解决方案。通过这套方案,用户可以在完全本地的环境下实现基于网页内容的智能问答和文档分析,确保数据隐私安全。适合希望将AI能力整合到日常浏览体验的技术爱好者。

Ai_easygo的博客 397

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

大模型本地部署实战:DeepSeek-R1+Page Assist联网搜索全流程详解

文章详细介绍了如何在本地使用Ollama部署DeepSeek-R1大模型,并通过Chrome插件Page Assist实现联网搜索功能。由于DeepSeek模型知识截止到2023年12月,无法回答最新信息,而Page Assist作为独立运行的浏览器扩展,可先通过搜索引擎实时查询获取最新信息,然后将这些信息与用户问题一起发送给本地DeepSeek模型进行回答。文章提供了完整的安装、配置和设置步骤,帮助读者实现大模型的本地化使用和实时信息获取能力。

aolan123的博客 949

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

本地 DeepSeek + Page Assist:让 AI 读懂任意网页的完整指南

Page Assist 是本地 LLM 生态中连接"模型能力"与"日常浏览器使用"的关键一环。配置完成后,Ollama 上运行的任何模型都可以通过它无缝介入你的网页浏览场景。

Ai_easygo的博客 412

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

如何拥有一个无限制、可联网、带本地知识库的私人 DeepSeek?

怎么得到一个免费的、体验又好的 `DeepSeek` 呢,因为 `DeepSeek` 是完全开源的模型,如果你的设备硬件条件过硬,大家都能自己部署。所以今天就跟大家聊聊如何快速在本地部署开源模型,并且部署后如何更好的使用本地模型。

m0_48891301的博客 3168
上一篇: 人工智能大语言模型微调技术:SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
下一篇: Llama + Dify,在你的电脑搭建一套AI工作流
爱喝白开水a
博客等级 码龄3年 6793粉丝 763原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值