3.“茴香豆“:零代码搭建你的 RAG 智能助理

已于 2024-06-06 10:12:15 修改
阅读量1k 收藏 17
点赞数 27
CC 4.0 BY-SA版权
文章标签： 语言模型 人工智能
于 2024-06-04 12:11:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/asdblf/article/details/139437962

参考视频：茴香豆：搭建你的 RAG 智能助理_哔哩哔哩_bilibili

参考项目：Tutorial/huixiangdou/readme.md at camp2 · InternLM/Tutorial · GitHub

3.0 RAG介绍

（1）定义

RAG就像搜索引擎，用户输入内容就像提示，在外部知识库搜寻内容，通过检索和生成提高LLM性能。

解决大模型胡说八道、知识过时和缺乏推理逻辑的问题。RAG因为没有训练过程，借助外部知识库提供更准确的回答，成本低。

（2）RAG核心：索引、检索、生成

索引：编码外部知识库

检索：编码用户输入的问题，在库内找到最相关的chunk返回

生成：提示=问题+chunk，送给大模型，等待生成回答

Vector-DB：存储（向量表示）、高效检索（余弦、点乘）、

（3）RAG优化思路：

数据库方面：

        嵌入式优化：

        索引优化：chunk大小、索引结构

提示方面：

        查询优化：对提示进行改写，使其更能生成回答

        上下文优化：去除冗余提高效率

检索方面：

        迭代检索：多次检索知识，提高知识质量

        递归检索：提高检索深度、细化检索过程

        自适应检索：自主决定检索内容和时机

大模型微调

（4）RAG和微调的区别

最低0.47元/天 解锁文章
Wangy_Pustar
关注
【第3节】“茴香豆“：搭建你的 RAG 智能助理
熊猫小妖的AI世界
04-24 1499
RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。LLM会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。
第3课笔记 茴香豆：零代码搭建你的 RAG 智能助理
weixin_42035282的博客
04-26 1114
检索过程中，茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较，判断该问题是否应该回答，避免群聊过程中的问答泛滥。确定的回答的问题会利用基础模型提取关键词，在知识库中检索。我们已经提取了知识库特征，并创建了对应的向量数据库。进入开发机后，从官方环境复制运行 InternLM 的基础环境，命名为。文档作为新增知识数据检索来源，在不重新训练的情况下，打造一个。命令行输入下面的命令，修改用于向量数据库和词嵌入的模型。的相关模块，默认嵌入和重排序模型调用的网易。相关的新增知识就以向量数据库的形式存储在。
茴香豆“:零代码搭建你的 RAG 智能助理
Foolbird123的博客
07-26 1607
RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。
第3课作业 茴香豆：零代码搭建你的 RAG 智能助理
weixin_42035282的博客
04-26 443
第3课作业 茴香豆：零代码搭建你的 RAG 智能助理。
茴香豆：搭建你的RAG智能助理
Shirley000708的博客
05-01 799
茴香豆：搭建你的RAG智能助理
[InternLM训练营第二期笔记]3. “茴香豆“:零代码搭建你的 RAG 智能助理
wjpwjpwjp0831的博客
04-10 1271
该系列是上海AI Lab举行的书生 浦语大模型训练营的相关笔记部分。该笔记是第三节课，学习RAG的基本概念，以及对于开源RAG应用“茴香豆”进行部署。
“茴香豆“：搭建你的 RAG 智能助理
weixin_73902638的博客
05-01 1236
RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。RAG 能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。本次课程选用的茴香豆应用，就应用了 RAG 技术，可以快速、高效的搭建自己的知识领域助手。
学习笔记 | 茴香豆：搭建你的RAG智能助理
DrFlown的博客
04-18 1200
拒答分数在检索过程中通过与示例问题的相似性检索得出，高质量的问题得分高，无关、低质量的问题得分低。需要注意的是，这里启用的远程模型，只用在问答分析和问题生成，依然需要本地嵌入、重排序模型进行特征提取。检索过程中，茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较，判断该问题是否应该回答，避免群聊过程中的问答泛滥。增强搜索利用知识领域的源文件建立图数据库，当模型判断问题为无关问题或回答失败时，增强搜索功能将利用 LLM 提取的关键词在该图数据库中搜索，并尝试用搜索到的内容重新生成答案。
“茴香豆“:零代码搭建你的 RAG 智能助理
wusuoweijujiayou的博客
04-14 797
RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。1.开发环境搭建：1.2下载安装茴香豆，依赖，GIT仓库1.3按照依赖1.4下载基础文件复制茴香豆所需模型文件，为了减少下载和避免登录问题，所有作业和教程涉及的模型都已经存放在开发机共享文件中。本教程选用。
三、“茴香豆”：搭建你的 RAG 智能助理
厚积而薄发
04-28 824
RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。
IntenLM2-三-《“茴香豆“:零代码搭建你的 RAG 智能助理》
天黑请闭眼~缓解下眼睛疲劳
06-11 982
茴香豆的工作流分为三个部分：预处理（Preprocess），拒答工作流（Rejection Pipeline），应答工作流（Response Pipeline）,使用拒答工作流是为了方便更复杂的应用场景。
初夏专场：博学多才书生浦语“茴香豆“:零代码搭建你的独领风骚RAG 满腹经纶智能助理
nlpx2000的博客
06-22 1145
RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，结合生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。RAG 能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。
Rust C++ OpenCV kafka-rs实践
keny-大成的博客
06-30 653
本文摘要： Rust与OpenCV图像处理：涵盖基础操作（加载/显示/保存图像、灰度转换）、滤波增强（高斯模糊/Canny边缘检测/直方图均衡化）、特征检测（SIFT/ORB）及机器学习应用（人脸检测/K均值聚类），需搭配opencv库（v0.66+）。 Rust与Anaconda集成：通过pyo3调用Python科学计算库（如NumPy、scikit-learn），实现数值计算、可视化、模型部署及跨语言数据共享。 Rust自动化框架设计：包括异步任务调度、插件系统、配置热加载、分布式锁、状态机引擎等10个
网络空间测绘理论体系白皮书（2023年）04测绘体系框架应用实践
最新发布
sinat_41942180的博客
06-30 649
网络空间测绘不仅直接作用于网络空间中的数据资源，也会作用于物理空间的真实设备、社会空间的组织机构、认知空间的用户倾向等等。下面以重点域名评估为例。而从更通用的角度上看，在网络空间探测获取到探测对象的基础数据之后，一方面需要针对探测对象作进一步分析处理，把基础探测数据，逐步抽象到类别标签代表的信息、知识，深入回答探测对象是什么、怎么样的问题；网络空间测绘的知识图谱本体涉及 IP、域名、证书、设备、软件等 10 多个信息域实体，同时关联物理域的各粒度地理位置、社会域的各层级组织行业、认知域的多源安全事件等等。
深度学习在智能城市中的创新应用与未来趋势
qq_74383080的博客
06-25 941
在当今数字化时代，智能城市的发展正以前所未有的速度推进，而深度学习技术作为人工智能的核心力量，正在为智能城市的建设带来新的突破和创新。从交通管理到能源优化，从公共安全到环境监测，深度学习的应用正在逐步提升城市的智能化水平和居民的生活质量。本文将探讨深度学习在智能城市中的创新应用，并展望其未来的发展趋势。
快速傅里叶变换(FFT)是什么？
guigenyi的专栏
06-26 1490
快速傅里叶变换（FFT）是高效计算离散傅里叶变换（DFT）的算法，将复杂度从O(N²)降至O(N logN)。通过分治策略和对称性优化，FFT使数字信号频域分析变得实用，广泛应用于信号处理（频谱分析、滤波）、图像处理（压缩、滤波）、音频处理及科学计算等领域。其核心价值在于将原本计算量巨大的DFT转化为高效运算，为现代数字技术（如通信、多媒体）奠定了基础，成为数字信号处理最重要的算法之一。
PyWavelets
shangjg3的博客
06-27 371
PyWavelets（pywt）是Python中用于小波变换的核心库，提供了丰富的信号处理和图像处理功能。
从0开始学习计算机视觉--Day04--线性分类
Chef_Chen的博客
06-26 279
线性分类器这种识别图片的方法，有点类似于模版匹配，即模型对该类别图片的理解来源于一个模版，如果给出的是货车的图片，模型会尝试求可能得模型的轮廓并得出一个每个类别变体的平均值来作为答案，但这也会导致该类的行向量去判断的准确率降低。与之前用KNN算法进行图片分类不同的是，在这个模型的例子中，不需要将训练的数据集与测试集去一一比对找最相似的类别，相反我们只需要在测试时，有输入图片得到的参数和权重就可以知道图片所属的类型了，这也意味着这个模型可以适配在很多设备上，包括电脑甚至手机。
论文笔记（八十八）MLCVNet: Multi-Level Context VoteNet for 3D Object Detection
xzs1210652636的博客
06-27 1014
本文提出了一种基于多层次上下文的3D目标检测网络MLCVNet，通过自注意力机制和多尺度特征融合，在点云补丁、目标候选和全局场景三个层次上捕捉上下文信息。该方法在VoteNet框架中引入三个模块：补丁到补丁上下文模块(PPC)利用自注意力建模点补丁关系；目标到目标上下文模块(OOC)编码对象间的共存关系；全局场景上下文模块(GSC)学习场景级语义线索。实验表明，这些模块协同作用显著提升了检测精度，在SUN RGB-D和ScanNet数据集上达到新的最优性能。代码已开源。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值