【MiniRAG】极致简洁高效的新型RAG系统:重新定义检索增强生成!

高效且轻量级RAG系统需求日益增长,但RAG框架中部署**小型语言模型(SLMs)**在语义理解和文本处理上存在局限,阻碍了广泛应用。

与 LLMs 相比,SLMs 在索引和回答阶段都显示出显著的局限性左侧 :SLMs生成的描述质量明显低于LLMs。右侧 :SLMs难以在大篇幅的上下文中找到相关信息,而LLMs则能有效地完成这项任务。

为此,香港大学提出并开源MiniRAG ,这是一种专为极简和高效 而设计的新型RAG系统。

MiniRAG架构解决了设备端 RAG 系统面临的独特挑战,在效率和效果之间实现了优化

MiniRAG引入了两项关键技术创新:(1)一种语义感知的异构图索引机制 ,将文本块和命名实体结合在一个统一结构中,减少了对复杂语义理解的依赖;(2)一种轻量级的拓扑增强检索方法 ,利用图结构实现高效的知识发现,而无需高级语言能力。

语义感知的异构图索引机制

  • 构建过程:

  • 文本预处理:对文本进行分句和分词处理。

  • 实体识别:利用预训练的命名实体识别(NER)模型识别文本中的命名实体。

  • 图构建:将文本片段和命名实体作为节点,根据共现关系构建边,形成

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值