Retrieval Augmented Thoughts(RAT)：检索增强思维，实现长视野生成中的上下文感知推理

原创 已于 2024-05-02 16:47:15 修改 · 1.6k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #自然语言处理

于 2024-03-21 11:22:54 首次发布
RAT（检索增强思维）是一种结合思维链和检索增强生成的策略，用于解决长视距任务中的上下文感知推理问题。通过LLM的两步法，首先检索信息以修正可能的缺陷，然后采用渐进式方法逐步生成响应。RAT在代码生成、数学推理等任务上优于传统方法，模拟了人类逐步推理过程，提高效率和准确性。

论文地址：https://arxiv.org/pdf/2403.05313.pdf

原文地址：rat-retrieval-augmented-thoughts

Github：Implementation of RAT 

2024 年 3 月 14 日

介绍

让我首先从一些一般性观察开始......

在生成式人工智能应用程序中实现效率与生成响应的准确性之间存在着紧张关系。

GenApp 的效率是指应用程序响应迅速，没有任何延迟或超时。应用程序的执行路径中也不应该有太多的组件和检查。

准确性指的是生成式人工智能应用程序的输出与用户期望之间的一致性。

GenApp 架构通常通过采用多个 LLM 交互和推理过程来实现准确性。除此之外，比较不同的响应并选择最佳响应。

显然，当引入这些措施来实现高精度时，这会损害效率。

因此，需要在效率和准确性之间取得平衡。

RAT：两步法

检索增强思维（RAT）是一种简单而有效的提示策略，结合了思维链（CoT）提示和检索增强生成（RAG）来解决长期推理和生成任务。<

最低0.47元/天 解锁文章
lichunericli
关注
【AI大模型应用开发】RAT原理与实现：又是一个提高大模型生成能力的方法（附完整代码）
同学小张的博客
05-18 1976
COT（思维链）、TOT（思维树）、RAG（检索增强生成）、LATS（Language Agent Tree Search）...大模型相关的领域真的是在高速发展，现在竟然又出现了一个RAT。本文我们来看下RAT是什么，能用来解决什么问题，以及其实现思路和原理。
Vector | Graph：蚂蚁首个开源Graph RAG框架设计解读
南七小僧的学海无涯
08-09 1242
RAG的目标是通过知识库增强内容生成的质量，通常做法是将检索出来的文档作为提示词的上下文，一并提供给大模型让其生成更可靠的答案。更进一步地，RAG的整体链路还可以与提示词工程（Prompt Engineering）、模型微调（Fine Tuning）、知识图谱（Knowledge Graph）等技术结合，构成更广义的RAG问答链路。增强训练REALM引入了知识检索器增强大模型预训练，以改进大模型的问答质量和可解释性。增强微调RA-DIT实现了对大模型和检索器的双指令微调，RAFT。
RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation
yzsjwd的博客
04-23 1424
从 Prompt 设计来看应该能解决通用任务，但没有在一些常见的RAG评测框架（RAGAS、SuperCLUE-RAG）上进行验证。也没有和其他改进版的 RAG 进行对比，对于 RAG 中最重要的 Retrieval 环节也仅仅测试了不同检索数量，没有尝试不同的索引办法和更多的向量化模型，不知道引入反思和讨论模块是否对 RAT 有进一步帮助。好处是实现比较简单，在不涉及任何模型训练的情况下，仅依赖于基础LLM的思维链推理和上下文学习能力获得效果的提升，比较方便融合进现有的 RAG 框架尝试效果。
检索增强思考 RAT（RAG+COT）：提升 AI 推理能力的强大组合
2401_85328934的博客
10-07 1201
在人工智能领域，大型语言模型（LLMs）已经取得了显著的进展，能够生成类似人类的文本并回答各种问题。然而，它们在推理过程中仍面临一些挑战，例如缺乏对事实的准确把握以及难以处理复杂的多步骤问题。为了解决这些问题，检索增强生成（RAG）和思维链（CoT）提示技术应运而生，而它们的结合（RAG + CoT，即检索增强思想 RAT）更是展现出了强大的优势。
RAT: 将RAG与CoT结合，有效提升模型性能
Python_cocola的博客
10-11 1403
这篇文章主要关注的是如何提高大语言模型在需要长序列推理(Long-Horizon Reasoning，指的是在处理需要跨越较长时间跨度或包含多个连续决策步骤的任务)和生成任务中的表现。研究人员发现，通过引入一种称为“检索增强型思维链”（RAT）的技术，可以有效地改进模型的性能。这种方法的核心思想是在模型生成初步的思考链之后，利用RAG来逐步校正和完善这一链条，确保每一步都基于与当前任务最相关的信息进行修正。本文提出了一个RAG+CoT的实现思路。笔者认为这确实是目前主流的落地应用最普遍也是最实用的思路。
RAT：融合RAG和CoT的高效多步推理任务解决方案
wwlsm_zql的博客
04-22 2814
本文提出了一种融合RAG和CoT的高效多步推理任务解决方案——RAT，该方案能有效整合不同思维模式，提高推理效率和准确性，为解决复杂问题提供了一种新的思路，有助于提升人工智能系统的推理与问题解决能力。
AIGC 架构：RAG (retrieval augumented generation) 应用可以使用 PostgreSQL 作为向量数据库组件吗？
surfirst的博客
02-25 1154
是的，RAG（检索增强生成）应用程序可以绝对地使用 PostgreSQL 作为向量数据库！事实上，它是一个流行的选择，因为有以下几个优点
自然语言处理: RAT = CoT + RAG
victor_manches的博客
04-29 1628
Retrieval Augmented Thoughts (RAT) 是一种协同思维链 (CoT) 和检索增强生成 (RAG) 的 AI 提示策略，助力解决具有挑战性的长任务推理和生成。
RAT:融合RAG和CoT的高效多步推理任务策略
weixin_43589681的博客
11-30 1263
思维链技术通过在提示词中加入“让我们一步一步思考”的指令，模型会自动输出中间推理步骤，从而生成更加精准的答案。这种方法不仅提高了答案模型的推理能力，还增强了答案的可解释性。但是由于大模型的幻觉问题，在长任务推理中模型可能会生成看似合理但实际上并不准确的推理信息。因此这篇论文考虑在COT的基础上加上了RAG，即RAT，通过利用检索到的外部信息为大模型提供推理依据。利用 LLMs 的 zero-shot 能力生成初始思维链，并将思维链和原始任务放入提示中检索有助于修正错误思维链的信息；
检索增强生成 和思维链 结合: 如何创建检索增强思维链 (RAT)？
yanqianglifei的专栏
01-04 1484
想象一下，一个人工智能助手可以像莎士比亚一样写作，像专家一样推理。这听起来很了不起，对吧？但是，如果这个助手有时难以确保事实准确性，依赖过时的信息或只是编造事实，该怎么办？是一种创新性的方法，它结合了两种关键技术：检索增强生成 (RAG) 和思维链 (CoT) 提示。大型语言模型 (LLM) 因其模仿人类写作和流畅回答问题的能力而变得流行。但有时，他们的回答需要以现实世界的知识为基础。RAT 通过提供一种革命性的人工智能推理方法来解决这个问题。让我们深入研究并了解 RAT 的代码！
RAG的10篇论文-2024Q1
热门推荐
我相信......
04-21 1万+
大模型来了，论文都读不过来了。在大型模型的研究与工程应用领域，变化之迅猛令人瞠目，用“日新月异”来形容似乎都显得有些保守。即便是针对其中的RAG技术，自2024年伊始至今，学界就已经涌现出了很多高质量的研究论文。在这里，老码农挑选了十篇具有代表性的作品，以期对大家的探索和实践提供有益的参考与启示。1. RAG与微调：流水线、权衡和一个农业案例的研究论文标题：RAG vs Fine-tuning:...
《检索增强思维（RAT）：大语言模型多步推理的突破性进展》
qq_62223405的博客
04-02 947
RAT技术通过深度整合检索与推理，为大语言模型解决复杂问题提供了全新范式。尽管存在响应速度等挑战，但其在提升事实准确性和逻辑严谨性方面的价值已经得到验证。随着检索效率的不断提升和推理算法的持续优化，RAT有望成为下一代AI系统的标准架构，推动大模型在医疗、法律、科研等专业领域的深入应用。未来，我们预期将看到：更精细的推理-检索交互机制跨模态RAT系统（结合文本、图像、代码等）个性化推理模式适配这些发展将进一步释放大模型解决复杂现实问题的潜力。
Prompt工程师必读 | 降低幻觉，用RAG还是RAT？用ChatGPT 4o一次生成7100字文章
m0_59235699的博客
07-10 968
最近，LLMs推理过程中的事实性错误和幻觉问题日益引起关注。我看到很多以RAG（检索增强生成）这一方法为主题的研究，减少幻觉这一问题在需要多步骤、上下文感知推理的长视野生成任务中尤为突出，因为中间推理步骤的正确性对于这类任务至关重要。RAG和LLM之间权衡也存在不少问题，你可以移步看下文。
Math - 中心化，标准化和归一化
guoqx的专栏
12-30 493
摘要：归一化是将数据转换为统一尺度的处理方法，消除量纲差异，便于比较与分析。常见方法包括Min-Max缩放（线性映射到固定区间）和Z-score标准化（均值0，标准差1）。Min-Max适用于需要固定范围的情况，但对异常值敏感；Z-score适用于单位不同或存在离群值的场景。归一化在数据分析、信号处理和机器学习中广泛应用，需根据数据分布和算法需求选择合适方法，并注意保存参数以确保一致性。流程包括数据清洗、方法选择、拟合转换和效果评估。
人工智能基础篇：概念性名词浅谈（第十五讲）
m0_53104033的博客
12-31 459
本文介绍了两种改进的自编码器模型。正则自编码器通过在损失函数中添加正则化项，实现了对稀疏表示、噪声鲁棒性等特性的学习，突破了传统自编码器的容量限制。随机编码器则通过向编解码器注入噪声，形成生成模型架构，其训练目标是最小化输入与重构间的负对数似然。文章还特别介绍了针对矩阵数据的改进版本MRAE及其在异常检测中的应用。这些模型通过不同的正则化机制，有效提升了自编码器的特征学习能力。
2025年终总结
最新发布
李梨同学的博客
12-31 520
以往，想把一个产品从想法变成现实，往往离不开一整条由“螺丝钉”拼出来的流水线：需求评审、产品对接、研发排期、测试上线，每一步都要仰赖他人的时间与资源。我试图推倒技术的高墙，用通俗有趣的语言，把晦涩的AI原理“翻译”给更多人听。这条路注定充满了不确定性。正是这风暴般的时代，打破了旧有的壁垒，赋予了像我这样曾经“不务正业”的个体前所未有的杠杆。这一年，我拒绝做一个默默敲代码的“独行侠”，决定走出去，构建自己的知识品牌。三年后再次站在时间的节点回望，这一年于我而言，是从“被浪推着走”到“学会造浪”的转折点。
6神经网络框架
2301_81531626的博客
12-27 1580
本文系统介绍了神经网络的基本框架和发展过程。首先指出线性模型的局限性，说明其无法拟合复杂非线性关系。接着引入分段线性曲线和Sigmoid函数，通过参数调节实现曲线拟合。随后详细阐述了神经网络的构建过程：从单输入扩展到多特征输入，引入矩阵运算简化表达式，并说明激活函数的作用。最后介绍深度学习中ReLU激活函数的优势，其简单计算特性可有效组合成复杂曲线。全文通过数学公式和图示相结合，清晰展现了神经网络从线性模型到深度学习框架的演进逻辑。
第N11周：seq2seq翻译实战-Pytorch复现
m0_46260522的博客
12-26 884
5.2 注意力解码器（AttnDecoderRNN）7.2 训练迭代主循环。
【AI学习-comfyUI学习-第二十五节-Shuffle洗牌模式布局+contronet其他应用结合-各个部分学习】
qq_22146161的博客
12-27 1299
最近，学习comfyUI，这也是AI的一部分，想将相关学习到的东西尽可能记录下来。不断学习摸索中。
RAG技术详解：检索增强生成在大模型中的创新应用
资源摘要信息:"RAG（Retrieval-Augmented Generation，检索增强生成）技术作为大模型时代的一项关键性创新，正在深刻改变人工智能在实际场景中的应用方式。该技术通过将信息检索机制与生成式语言模型深度融合，构建...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值