3.“茴香豆“:零代码搭建你的 RAG 智能助理

参考视频:茴香豆:搭建你的 RAG 智能助理_哔哩哔哩_bilibili

参考项目:Tutorial/huixiangdou/readme.md at camp2 · InternLM/Tutorial · GitHub

3.0 RAG介绍

(1)定义

RAG就像搜索引擎,用户输入内容就像提示,在外部知识库搜寻内容,通过检索和生成提高LLM性能。

解决大模型胡说八道、知识过时和缺乏推理逻辑的问题。RAG因为没有训练过程,借助外部知识库提供更准确的回答,成本低。

(2)RAG核心:索引、检索、生成

索引:编码外部知识库

检索:编码用户输入的问题,在库内找到最相关的chunk返回

生成:提示=问题+chunk,送给大模型,等待生成回答

Vector-DB:存储(向量表示)、高效检索(余弦、点乘)、

(3)RAG优化思路:

数据库方面:

        嵌入式优化:

        索引优化:chunk大小、索引结构

提示方面:

        查询优化:对提示进行改写,使其更能生成回答

        上下文优化:去除冗余提高效率

检索方面:

        迭代检索:多次检索知识,提高知识质量

        递归检索:提高检索深度、细化检索过程

        自适应检索:自主决定检索内容和时机

大模型微调

(4)RAG和微调的区别

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值