基于AI知识库RAG的综合窗口智能助手

向量检索+大语言模型,免费搭建基于专属知识库的 RAG 智能助手 如何用OceanBase 的免费试用,加上大语言模型,快速的免费搭建一个RAG 智能助手。 阅读详情

背景

电子政务网上大厅统一接件系统是为各市、区(市)县所有行政权力事项(行政许可、行政处罚、行政强制、行政征收、其他行政权力等)实现在线统一接件、办理调度、办件过程信息查询、结果查询及公开、服务评价、办件统计等功能的应用系统,它通过标准数据接口、基于政务信息共享交换平台实现与行政审批系统等市级综合业务平台、地税局网上办税系统等部门业务平台、电子监察系统等应用实现互联互通,办件数据共享,为没有业务系统的部门及事项提供在线接件功能,通过该系统形成一个真正意义的在线办事服务平台,将分散于不同业务系统的接件平台统一到政府门户网站,让用户不再跑网上的分散窗口。

针对政府网站信息搜不到、搜不全的问题,平台对网站信息进行结构化处理,通过构建信息知识图谱,整合辖区情况介绍、政策文件、办事服务、热门问答等内容,形成知识库。市民只需输入关键词或问题,平台就能迅速总结提炼相关信息,有效提升咨询效率和准确度。GPT智能客服通过对大量政策文件的深度学习,精准把握政策深层含义,当企业用户、普通市民只需在线输入问题,平台即可智能匹配相关政策法规和办事流程等信息,并生成清晰、简洁的解读及指导,有效破解传统智能客服“不解人意”“答非所问”的问题,帮助公众更好理解政策。以下实践某政务综合窗口接件系统基于RAG的实践。

RAG(Retrieval-Augmented Generation)

RAG技术全称为“检索增强的生成”,它将传统的信息检索技术与现代的自然语言生成技术相结合,旨在提高文本生成的准确性和相关性。这种技术通过引入外部知识源,使得语言模型在生成文本时能够参考更广泛、更准确的信息,从而显著提升生成内容的质量和可信度。

RAG技术主要由两个核心组件构成:检索组件和生成组件。

  1. 检索组件:负责从大型知识库中检索出与给定输入相关的信息。这个知识库可以是维基百科、专业期刊、书籍等任何形式的文档集合。检索组件通常使用向量检索技术(如FAISS或Annoy库)来快速定位相关文档或文档片段。

  2. 生成组件:是一个预训练的Transformer模型(如GPT或BERT),它结合了原始输入和检索组件提供的外部信息来生成文本。生成组件能够根据融合了检索信息的上下文生成回答或续写文本,从而确保生成内容的准确性和丰富性。

流程


1

数据流


2

功能架构


3

Elastic k-Nearest Neighbor (kNN) Search


k 最近邻 (kNN) 算法对密集向量类型的字段执行相似性搜索。这种类型的搜索更合适地称为“近似 kNN”,接受向量或嵌入作为搜索项,并查找索引中接近的条目。以下图片来自Elastic官方

![](https://mmbiz.qpic.cn/mmbiz_png/LKoA31miaIetwPiaZXXDUibmEjwN9U9ub4bXJTk9Juc2PmTZNjEiaWRpu9lDLgGGunTuIicEpXYYBmb13SU8DMW7QBw/640?wx_fmt=png&from=appmsg&random=0.45816263806020796&random=0.3516082361091124&random=0.6089034384964644&random=0.3422023380665944&random=0.715974323677951&random=0.7764244952302195&random=0.43820712214205026&random=0.37835167908651535&random=0.4606634297044778&random=0.5091669353304125&random=0.5733127149972581&random=0.4756757281466928&random=0.3227287388215079&random=0.7122588297593513&random=0.22806066121835888 "image")

实践

将之前收集到政策相关事项docx文件,195个文档上传知识库,包含 事项要素,材料模板,审查样表 的docx文档,其中审查样表部分docx包含图片

如下是已经导入完成

解析完成后

数据管理可查看导入文档详情

创建索引

知识库管理

知识库基于向量存储ElasticSearch

已经自动切片

命中测试

应用配置 对应知识库

测试对话

前端UI编写

最终我们看到 综合窗口的AI助手

智能AI对话与咨询

示例2

示例3

我们可以看HTTP 请求响应体

第二部分

总结

我们看到电子政务网上大厅综合窗口接件基于RAG实现准确智能助手。RAG技术在多个领域具有广泛的应用前景,包括但不限于问答系统、文本摘要、对话系统、企业信息库建设、AI文档问答、业务培训、科研等场景。通过结合检索和生成两种技术,RAG技术为这些领域提供了更加高效、准确和可靠的解决方案。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

【Spring AI】第三弹:深入解析 RAG 核心特性、关键流程、基于 Spring AI + 知识库实现 RAG 检索增强器 深入解析 RAG 核心特性、关键流程、基于 Spring AI + 知识库实现 RAG 检索增强器 阅读详情

相关推荐

私有AI知识库的构建:透视RAG技术

想象一下,RAG就像是你的私人图书管理员,它不仅能找到信息,还能将信息整理成你需要的答案。RAG技术主要是利用大模型的能力来搭建知识库,解决了传统模型的局限性。例如,许多大模型是基于固定的训练数据,而RAG则能够处理不在训练集中的信息,以更好地满足用户的需求。了解这些背景知识,能使你更好地理解RAG的价值。

weixin_44626085的博客 1066

构建基于 RAG 技术的智能助手

在人工智能的浪潮中,茴香豆 AI 以其独特的 RAG(Retrieval Augmented Generation)技术脱颖而出,为知识密集型任务提供了创新的解决方案。初次接触茴香豆 AI,我被其优雅的设计和强大的功能深深吸引。通过仔细研读操作指南,我建立了个人数据库,并根据自行整理的 Markdown 使用手册,向 AI 提出了多个问题。AI 的回答准确而高效,让我对它的潜力有了深刻的理解。通过 RAG 技术,茴香豆能够结合检索到的信息片段和外部知识库,生成更准确、丰富的回答。

qq_56997043的博客 597

Spring AI--RAG知识库

RAG(检索增强生成)是一种结合信息检索和AI生成的技术,通过查询外部知识库提高大模型回答的准确性。其工作流程包括文档收集切割、向量转换存储、检索过滤和查询增强四个步骤,关键技术涉及Embedding模型、向量数据库和混合检索策略。文章还演示了基于SpringAI的RAG实现,包括本地知识库处理和云知识库服务对接。通过实例代码展示了文档加载、向量存储及检索增强的应用,为开发者提供了从理论到实践的完整指南。

qq_57465625的博客 915

【InternLM 实战营第二期笔记】使用茴香豆搭建你的RAG智能助理

茴香豆是一个基于 LLM 的群聊设计拒答、响应两阶段 pipeline 应对群聊场景,解答问题同时不会消息泛滥。精髓见技术报告成本低至 1.5G 显存,无需训练适用各行业提供一整套前后端 web、android、算法源码,工业级开源可商用。

JeffDing 1198

第四章 RAG 知识库基础

RAG(Retr؜ieval-Augmented ‍Generation,检索增强生‌成)是一种信息检索和内容生成的混合架构,可以解决大模型的知识时效性和幻觉问题。从技术上看,RAG在大模型回复内容之前,会从外部知识库中检索用户相关问题作为上下文信息传递给大模型,使得大模型能够回复更相关、更准确的内容。通过 RAG 技术改造后,AI 就能:准确回答关于特定内容的问题在合适的时机推荐相关课程和服务用特定的语气和用户交流提供更新、更准确的建议RAG的工作流程和原理。

weixin_45284646的博客 1094

AI 如何匹配 RAG 知识库:混合检索的力量

在应用知识图谱时,可以通过语义检索和向量检索等方法,快速找到与查询相关的实体和关系,为决策支持、智能推荐等任务提供依据。它的核心思想是在生成文本的过程中,从外部知识库中检索相关的信息,然后将这些信息融入到生成的文本中,以提高生成内容的准确性和可靠性。例如,在撰写新闻报道、故事创作等任务中,系统可以从知识库中检索相关的事件、人物、背景信息等,然后将这些信息融入到生成的文本中,提高文本的质量和可信度。混合检索可以通过多种方法的组合,扩大检索的范围,确保尽可能多地找到与查询相关的知识。

ya766829的博客 860

基于GraphRAG的SEO智能助手实战案例 - 解锁大模型和知识图谱结合的力量

本文介绍了如何利用LLM和知识图谱的强大功能制作AI助手,并详细解释了RAG和GraphRAG的应用。通过整合外部API,构建了名为VictorIA的SEO助手,该助手不仅能生成内容、传递SEO行业知识,还能与SaaS工具互动,展示了未来SEO自动化的潜力。知识图谱的应用与LMI框架的结合为助手的开发提供了重要支持。通过向LLM输入自然语言问题并与API进行交互,构建了一个信息丰富、有结构性的助手。GraphRAG方法虽然提高了答案的完整性,但也带来了一定的延迟。

xx_nm98的博客 996

【Spring AI】基于专属知识库的RAG智能问答小程序开发——代码逐行精讲:核心交互函数及RAG知识库构建

【Spring AI】基于专属知识库的RAG智能问答小程序开发——代码逐行精讲:核心交互函数及RAG知识库构建

un_fired的博客 3373

【知识库】教你用“知识库”+“AI工作流”搭建一个属于你自己的搜索引擎

知识库+AI工作流=自己的搜索引擎

万物皆有灵 4418

单一窗口助手.rar

本软件是专门针对单一窗口数据导出、软件可以支持单票、多票 ,批量导出到mssql、mysql 等主流数据库,还可以支持 一键上传随附单据

ADSP-21565的SigmaStudio图形化编程实战:从FW工程改造到音频通道打通

本文详细介绍了如何将ADSP-21569的SigmaStudio图形化编程固件工程改造,以适配ADSP-21565的纯片内SRAM内存架构。通过修改内存映射和链接文件,打通了音频输出通道,并成功利用SigmaStudio进行图形化编程,实现了从白噪声生成到音频输出的完整验证流程。

weixin_29169505的博客 381

AI——RAG知识库

AI知识问答应用中的RAG技术实践 摘要:本文探讨了如何利用RAG(检索增强生成)技术构建企业级AI知识问答系统。文章指出,RAG技术通过结合信息检索和AI生成,有效解决了大模型知识时效性和幻觉问题,使AI能够基于企业私有知识库提供个性化服务。关键技术实现包括文档收集切割、向量转换存储、文档过滤检索和查询增强关联四个核心步骤,其中文档预处理的质量直接影响系统上限。文章还介绍了使用SpringAl框架开发本地知识库和云知识库服务的实践方法,并提出了优化文档结构、切片策略及异常处理的具体建议,为企业构建高效AI

2301_81283571的博客 1270

解密m3u8视频合并:从猫抓插件到本地文件修改全流程

本文详细解析了m3u8视频合并的全流程,特别针对加密视频片段提供了解决方案。从使用猫抓插件捕获m3u8文件地址,到利用N_m3u8DL-CLI工具自动下载、解密并合并ts片段,手把手教你处理AES-128加密等常见问题,最终生成完整的本地MP4文件,适合需要备份或处理流媒体资源的用户。

weixin_29290947的博客 1367

传统知识库 VS AI知识库的核心差异,AI知识库与RAG技术详解

AI知识库呢?比如腾讯IMA、Dify这些,都是“带脑子的知识库它们不仅帮你“找文件”,还能直接看完资料,帮你归纳总结出答案。继续上面的例子👇:你问:“项目A今年预算花超了多少?传统知识库会说:“我帮你把所有含‘项目A 预算’的文件翻出来,自己看。去你知识库里找包含【项目A】【预算】【超支】的资料段落;从这些段落中分析数据、提取结论;回答你:“项目A预算已用超出原定预算15.3%,主要集中在设备采购上。是不是一下就省事儿了?它不仅找,还能总结、提炼、用你听得懂的话说出来。RAG,全称。

2401_85154887的博客 1167

一文读懂 AI 模型训练流程

AI模型训练流程可分为五个关键步骤:首先进行数据准备,包括收集、清洗、标注和增强数据;其次选择合适的模型架构并搭建神经网络;然后通过前向传播、损失计算和反向传播进行模型训练;接着用验证集评估模型性能,并调整超参数;最后在测试集上检验模型泛化能力。整个过程需要精心设计每个环节,才能获得性能优异的AI模型。

牧晨加油站 1485

从零开始:如何用Python建立你的第一个人工智能模型

在这篇文章中,我们将介绍如何从零开始使用Python建立你的第一个人工智能模型。无论你是刚接触编程的新手,还是有经验的开发者想进一步探索人工智能领域,这篇文章都将为你提供清晰、详细的指南。我们将一步步探索数据预处理、模型建立、训练和测试的过程,以及如何解读模型的结果。

Allen1862105的博客 4万+

【Spring】RAG 知识库基础

详细介绍了RAG相关概念以及通过SpringAI、SpringAi Alibaba框架实现本地知识库与云知识库RAG实战功能

weixin_62533201的博客 1751

Qt5.15.2安卓开发环境配置保姆级教程(含JDK8、SDK33、NDK21.4及Gradle国内镜像避坑指南)

本文提供Qt5.15.2安卓开发环境配置的完整教程,涵盖JDK8、SDK33、NDK21.4及Gradle国内镜像设置,帮助开发者快速搭建开发环境并避免常见问题。通过详细步骤和实战技巧,解决依赖冲突、网络超时等难题,提升开发效率。

weixin_28730353的博客 203

【干货收藏】RAGFlow入门到精通:本地搭建RAG专属知识库与智能助手应用

文章详细介绍了RAGFlow四大核心功能模块(知识库、搜索、Agent、文件管理)的搭建与应用。通过图文并茂的方式,指导读者如何配置大模型、构建专属知识库、创建智能聊天助理、实现搜索问答系统及Agent智能助手,并提供常见问题解决方案。该指南适合零基础开发者快速掌握本地RAG系统的部署与应用,助力企业构建知识驱动型AI应用。

Everly_的博客 1623

Vitis 安装及环境配置

Vitis 官方手册 https://www.xilinx.com/html_docs/xilinx2020_1/vitis_doc/index.html Xilinx Downloads center https://www.xilinx.com/support/download/index.html/content/xilinx/en/downloadNav/vitis.html 系统要求如下图所示,Windows系统只能支持Vitis嵌入式系统开发流程,不能支持加速设计 1.安装ubuntu18.0

怠桑的博客 7052

深入解读WT软件湍流强度计算与分析

深入解读WT软件湍流强度计算与分析

weixin_46713695的博客 1027

本地知识库RAG总结

第一,自己从0开始实现RAG,优点是灵活度高,可以定制,召回有保证,缺点是工作量大。3、融入“知识图谱”技术,将文档中的实体和属性形成可解释的知识图谱,在检索的时候,通过问题中语义实体或关系,基于知识图谱库获取和该问题推理相关的上下文(事实或逻辑),让大模型按照可解释的推理过程进行问题的分解和答案生成。首先通过模型进行关键词抽取,这里可以通过传统的nlp技术进行分词,也可以通过大模型进行分词,然后进行关键词按照同义词做扩充,找到关键词的候选列表,最好根据关键词候选列表调用explore方法召回局部子图。

年轻即出发, 3336

【UE5】RTS游戏的框选功能+行军线效果实现

步骤: 一、项目准备; 二、框选NPC并移动到指定地点; 三、框选效果; 四、行军线效果

ChaoChao66666的博客 2379

如何用deepseek+RAG搭建FPGA本地知识库

一直在想如何让AI 帮我写FPGA 的代码,分析代码,分析资料,不想一直重复造轮子。自从openAI 火爆之后,就一直在探索这条路,以至于求着给它送了不少银子。这是openAI 刚推出GPT Store功能的时候,我就做了一个AI 智能助手,上传自己的私有代码。但是效果一般。(我在GPT store 上的智能工具)后来字节的 coze 出来了,我又用coze做了一个 FPGA 智能体。采用多个大模型进行需求重审,代码重审,最后总结输出。并且接入了自己的这个公众号后台,效果也是很一般。

2401_85375151的博客 1549

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

【完全本地部署】DeepSeek模型+RAG技术构建本地知识库

在当今这个信息爆炸的时代,人工智能技术正以前所未有的速度发展。其中,DeepSeek 作为新一代的 AI 选手,迅速成为行业内的焦点。DeepSeek 在多项性能测试中已经达到了 OpenAI 的最新大模型 o1 水平,部分项目还实现了超越,在多项评测中表现优异,甚至直逼世界顶尖的闭源模型 GPT-4o 和 Claude-3.5-Sonnet。

2301_76168381的博客 3743

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

上一篇: GRATCR:使用数据高效的预训练模型生成表位特异性TCR序列
下一篇: OpenAI o1背后的技术:LLM的快思考与慢思考路线之MCTS
Python_金钱豹
博客等级 码龄5年 1万+粉丝 2840原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值