RAG对推理没帮助?T3给出了解法,问题不在RAG

OpenViking上下文数据库Golang集成实践 技术创新文件系统范式:将AI Agent的上下文管理从扁平向量存储提升为结构化文件系统分层检索策略:L0/L1/L2三层加载机制,减少62.1%的Token消耗记忆自迭代:会话提交触发Agent经验沉淀,实现越用越智能工程实践完整Golang实现:提供生产级可用的OpenViking客户端库企业级集成方案:涵盖文档摄入、检索、会话管理等全流程性能优化成果:检索准确率提升24.1%,响应时间减少53.3%可观测性提升可视化检索轨迹:实现检索过程的白盒化,调试效率提升77.1%全面监控指标。 阅读详情

过去两年,RAG 几乎成了 AI 工程的标配。但它有一个广为接受的「常识」——RAG 擅长知识密集型任务,但对推理任务(数学、代码)帮助有限。原因看似合理:推理需要的是思考方法,不是事实知识。你往上下文里塞再多篇文档,模型也不会突然学会解微积分。

但 UC Berkeley Sky Lab 的 Negar Arabzadeh 团队上周发了一篇论文,直接掀了桌子:

“RAG 对推理没帮助?问题不在 RAG,在你检索的东西。”

这篇论文叫 T3(Transformation of Thinking Traces),来自 Berkeley、Meta 和 CMU 的合作。他们的核心发现极其反直觉,但也极其优雅——如果你把检索的语料从「文档」换成「思维轨迹」,RAG 在推理任务上立刻起飞。

什么是「思维轨迹」

先理解一个概念:thinking traces(思维轨迹)。

当 Gemini-2-thinking 或 QwQ-32B 解一道数学题时,它们不会直接输出答案,而是先产生一个长长的推理过程——尝试、失败、换思路、验证。这个过程就是 thinking trace。

传统做法是把这个过程当成垃圾扔掉,只保留最终答案。T3 说:不,这个过程本身就是最好的检索语料。

想想看,这其实非常符合人类的学习方式。你做一道题卡住了,翻到一本参考书里的一道「类似题」看了解题思路,立刻就通了。你需要的不是知识点,而是一段推理过程的示范。

T3 做的就是这件事——把强模型的解题过程收集起来,建成一个检索库。当新问题来了,先找到最相似的「解题过程」,喂给下游模型参考。

T3 的三重变换

光收集原始轨迹还不够。原始的 thinking trace 是一团散乱的思考,冗长、包含错误尝试、格式不一。T3 引入了三种离线变换方法来清洗和结构化:

Structural Normalization(结构化归一):把散乱的推理过程重写成清晰的逐步程序化框架。一条原始轨迹可以被拆分成多个独立可检索的片段,每个片段是一个干净的方法步骤。

Reflection(反思提取):生成对比式分析——标注常见错误、误导路径以及如何避免它们。本质上是在说「这里有一个坑,别踩」。

Semantic Distillation(语义蒸馏):多层级抽象,把长轨迹压缩到核心推理思想。类似于从一篇详细解题报告中提取出「这道题用到的核心思路是 XX」。

这三种变换用较小的模型(比如 Gemini-2-Flash-Lite)离线完成,成本极低。然后你就有了一个高质量的「推理方法库」。

推理时间

最让我惊讶的是 T3 的推理流程有多简单:

  1. 新问题进来
  2. 在思维轨迹库中检索 top-3 最相似的推理过程
  3. 把这 3 个「范例」拼成 prompt:“Use the following examples to help solve the problem”
  4. 下游模型直接生成答案

不需要训练。不需要微调。不需要复杂的多步 agent loop。 就是一个最朴素的 retrieve-then-generate。

实验结果

这个「朴素」方法的效果令人瞠目:

在 AIME 2025-2026(美国数学邀请赛,公认的推理 benchmark)上:

模型无 RAG+ T3提升
Gemini-2.5-Flash基线+50.1%过半提升
GPT-OSS-120B基线+8.6%显著
GPT-5基线+5.8%就连最强模型也涨

在 LiveCodeBench v4 和 GPQA-Diamond 上也有一致增益。

一个关键细节:检索用的轨迹来自 Gemini-2-thinking,但下游模型是 GPT-5 这种完全不同的模型。跨模型的推理过程迁移居然有效。这说明推理方法确实存在某种模型无关的通用性。

更狠的是成本。T3 变换后的轨迹更短、更结构化,反而降低了 15% 的推理成本。不是零成本,是负成本。

为什么这很重要

T3 的重要性不在于某个 benchmark 涨了多少个百分点。它揭示了一个被忽视的范式:

传统 RAG 检索的是「信息」(what),T3 检索的是「方法」(how)。

这打开了一个全新的方向。你可以为任何推理密集型领域(法律分析、医疗诊断、金融建模)构建思维轨迹库。团队里最强的分析师的推理过程,可以被所有成员「检索」到。

而且 T3 的设计极其实用——离线变换、无需训练、即插即用。你可以今天就把 QwQ-32B 的推理轨迹喂进去,明天就让团队的所有模型受益。

我的看法

说实话,这篇论文让我重新审视了自己对 RAG 的理解。我之前也默认「RAG 对推理帮助有限」,甚至在系统设计里主动把推理路径和 RAG 分开。

但现在回头看,这个结论太草率了。我们不是证明了 RAG 不适合推理,我们只是在推理场景下用了错误的语料。

T3 的另一个价值是它对「推理泛化」这个难题提供了一个务实的解法。与其试图让模型学会所有推理模式,不如让它在遇到难题时能参考「前人是怎么想出来的」。这不正是教育中"例题教学"的核心理念吗?

Berkeley 团队已经开源了代码和所有数据集。如果你在构建任何需要推理能力的 AI 系统,我强烈建议你试一试。

学AI大模型的正确顺序,千万不要搞错了

🤔2026年AI风口已来!各行各业的AI渗透肉眼可见,超多公司要么转型做AI相关产品,要么高薪挖AI技术人才,机遇直接摆在眼前!

有往AI方向发展,或者本身有后端编程基础的朋友,直接冲AI大模型应用开发转岗超合适!

就算暂时不打算转岗,了解大模型、RAG、Prompt、Agent这些热门概念,能上手做简单项目,也绝对是求职加分王🔋

在这里插入图片描述

📝给大家整理了超全最新的AI大模型应用开发学习清单和资料,手把手帮你快速入门!👇👇

学习路线:

✅大模型基础认知—大模型核心原理、发展历程、主流模型(GPT、文心一言等)特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架(LangChain等)实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经

以上6大模块,看似清晰好上手,实则每个部分都有扎实的核心内容需要吃透!

我把大模型的学习全流程已经整理📚好了!抓住AI时代风口,轻松解锁职业新可能,希望大家都能把握机遇,实现薪资/职业跃迁~

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

Agentic RAG:RAG从静态到具有理解、推理、决策的Agentic RAG RAG技术演进:从静态检索到智能代理 RAG(检索增强生成)技术经历了五个关键发展阶段:基础RAG(关键词检索)、高级RAG(语义理解)、模块化RAG(灵活架构)、图RAG(知识图谱)和最新的Agentic RAG(智能代理)。Agentic RAG通过引入自主AI代理,具备反思、规划、工具使用和多代理协作能力,实现了动态决策和自适应工作流。相比传统RAG的静态检索流程,Agentic RAG能处理复杂多步推理任务,通过自我改进机制提高输出质量,并支持多专业代理协作,显著提升了RAG系统在复杂场景下的表现。 阅读详情

相关推荐

Hybrid RAG:AI推理新突破

Hybrid RAG系统通过结合大型语言模型(LLMs)和知识图谱(KGs),显著提升了AI在复杂推理任务中的表现。该系统通过减少幻觉、提高准确性以及整合多个专用模块(如网页处理、属性预测、数值计算等),能够处理复杂的多步推理任务。特别是GNN-RAG系统,结合图神经网络和语言模型,能够从知识图谱中提取特定问题的子图,并通过推理路径生成候选答案,增强了系统的解释性和准确性。尽管在处理动态信息、提高可扩展性和效率等方面仍面临挑战,但未来的研究方向包括开发更高效的图遍历算法、改进图结构的语言化方法,以及增强图推

weixin_57060548的博客 1379

基于RAG的企业智能客服项目,已拿70万offer!

基于 RAG 构建一套企业智能客服系统📖。

m0_59164520的博客 1454

RAT:融合RAG和CoT的高效多步推理任务策略

思维链技术通过在提示词中加入“让我们一步一步思考”的指令,模型会自动输出中间推理步骤,从而生成更加精准的答案。这种方法不仅提高了答案模型的推理能力,还增强了答案的可解释性。但是由于大模型的幻觉问题,在长任务推理中模型可能会生成看似合理但实际上并不准确的推理信息。因此这篇论文考虑在COT的基础上加上了RAG,即RAT,通过利用检索到的外部信息为大模型提供推理依据。利用 LLMs 的 zero-shot 能力生成初始思维链,并将思维链和原始任务放入提示中检索有助于修正错误思维链的信息;

weixin_43589681的博客 1317

从Vibe Coding到可控生产力:Harness Engineering的实践启示

摘要:OpenAI提出的Harness Engineering(工程化治理)理念为AI Agent时代的软件工程提供了关键方法论,旨在解决代码高产出下的质量闭环、上下文管理等核心矛盾。其三大目标包括重构工程师角色、将AI纳入可控体系、实现低成本纠错,通过六大举措(如角色重构、机械化约束、反熵机制等)重构工程流程。该理念与vibe coding高度互补,既保留灵感驱动的敏捷性,又通过工程化体系保障稳定性,最终推动工程师从"代码生产者"升级为"工程体系设计者"。

小程故事多的博客 4403

用AI学习graphify

Graphify是一个AI驱动的知识图谱构建工具,能够将代码、文档、论文、图像和视频等多模态数据转换为结构化知识图谱。其核心技术特点包括: 多模态处理能力: 支持25+编程语言的AST解析 处理PDF、Markdown等文档 集成Whisper进行音视频转录 高效知识提取: 采用确定性AST解析与LLM语义提取结合 相比直接读取源文件,查询token消耗最多减少71.5倍 增量更新机制仅处理变更文件 智能分析功能: 自动识别高中心性的"上帝节点" 发现跨领域的"意外连接&quo

我的专栏 752

到底什么是Harness工程?一篇文章从入门到企业落地全解析

随着OpenClaw爆火,Harness Engineering(驾驭工程)成为AI编程时代的热门概念,很多小白对其感到陌生。本文用通俗类比和真实案例,避开复杂术语,从基础定义入手,讲清Harness Engineering的核心逻辑——人类工程师设计“约束系统”(马具),让AI模型(烈马)安全高效地完成代码工作,同时拆解其核心组件、企业落地场景和实战成果,帮小白快速入门,读懂这项能解放人力、提升效率的新技术,轻松掌握它的核心价值和落地思路。

program哲学 3294

人大:RAG对LLM的推理有多大帮助

如何通过检索增强生成(RAG)提升大语言模型(LLM)的推理能力?论文证明了RAG可以增强LLM的推理能力,并提出了DPrompt调优方法进一步增强推理能力。

大模型任我行的博客 1360

开源模型应用落地-RAG优化小技巧-拆解复杂问题的多步推理引擎(三)

通过问题裂变引擎将复杂问题拆解为逻辑子问题、逐层推进形成“知识雪球”的智能问答系统,有效克服传统AI的知识碎片化难题,使复杂推理更精准深入。

以微薄之力,予他人些许温暖. 2万+

如何提升大模型RAG系统的效果?RAG推理增强

本文试图从几篇paper中提炼几个提升大模型RAG系统推理能力的方法:强大的基座模型01Base模型足够强大Retrieval-Augmented Generation,对于知识密集型任务来说,如果前半部分的Retrieval已经完成了使命,剩下的就是如何提升大模型结合知识更好回答问题的能力了。那么这部分的推理,其实,很大的比重都来自于大模型本身的推理能力了,所以其实这里可能还是个选型的工作。对于闭源API来说,GPT4-Turbo、Kimi Shot可能是个不错的选择;

python1234567_的博客 1640

Windows 10/11系统下TurboDesign 6.4.0完整安装指南(附序列号+破解补丁)

本文提供Windows 10/11系统下TurboDesign 6.4.0的完整安装指南,涵盖系统环境预检、安装程序部署、序列号处理及破解补丁部署等关键步骤。通过详细的安装教程和优化配置,帮助用户高效完成这款涡轮机械设计软件的安装与调试,解决常见兼容性问题。

s4t5u6v的博客 1031

MySQL下载和安装教程

1.下载MySQL数据库可以访问官方网站:https://www.mysql.com/ 2.点击DOWNLOADS模块下的Community模块下的MySQL Community Server进行下载。 由于目前最新版本是:MySQL Community Server 5.7.21 建议博友下载历史版本,本博下载的是5.6.39 下载步骤: 进入,选择MySQL的版本及主机 根据自己的电脑选择相应的位数进行下载,本机是64位,点击download。 进入下.

残雪的剑的博客 4万+

教程|通义Qwen 3 +Milvus,混合推理模型才是优化RAG成本的最佳范式

阿里的Qwen3系列模型正式发布了。短短12小时,GitHub星标数就突破17k,Hugging Face下载量峰值达2.3万次/小时。更刺激的是,此次Qwen3系列一共发布了外,还创下所有国产模型及全球开源模型的性能新高。要素虽然有点多,但别担心,Zilliz已经第一时间安排多位工程师上手,帮大家上手评测,并给出手把手RAG教程,码住等于学会,五一不再加班。

Python_cocola的博客 2189

【实战解析】RTL8306MB交换芯片驱动开发中的RMII接口调试陷阱

本文深入剖析了RTL8306MB交换芯片驱动开发中RMII接口的典型调试陷阱。通过一个工业网关项目的实战案例,揭示了因硬件原理图设计疏忽导致TX_EN与CRS_DV信号线错接,从而引发网络“哑火”的根本原因。文章详细展示了使用示波器从时钟、数据到控制信号的系统性排查方法,并总结了关键的设计警示与自查清单,为嵌入式网络开发中的软硬件协同调试提供了宝贵经验。

qqq44的博客 1031

推理智能体RAG

这种借鉴人脑思考模式(系统1快思考/系统2慢思考)的升级,目的是让AI在面对现实世界复杂的知识型任务(医疗、科研、法律、商业决策等)时,能像真正的人类专家一样,查得准、想得深、答得靠谱。虽然还有很多挑战,但这代表了AI向更智能、更实用方向迈进的重要一步。AI(大语言模型LLM)在处理需要复杂思考的问题时,如何变得更聪明、更灵活?答案就是借鉴人脑的思考方式(认知科学),给现有的检索增强技术(RAG)升级,变成“

frostmelody 全网同名,大家多多关注呀~ 持续分享优质内容! 997

树莓派4B没有serial0或ttyS0,serial0没有映射到ttyS0,serial0和serial1调换映射

环境: 树莓派4B,ubuntu mate20 现象 终端输入ls -l /dev,发现只有serial1->ttyAMA0,没有serial0页没有ttyS0,更没有二者的映射。网上很多方法都是树莓派3B和3B+的,我自己试过,不太适用于4B,下面的方法是4B的,我自己用是成功的。 解决方法 cd /boot/firmware sudo gedit config.txt 注意不是/boot下的config,而是/boot/firmware下的config 打开文件后,找到enable_uart=0

qq_41208487的博客 7892

Robocup 仿真2D 学习笔记(二) 球队代码编译和上场

环境的一些问题 最近在使用rcssserver 和 rcssmonitor时可能会遇到./configure失败的问题,可以检查一下文件夹是否有makefile文件,如果是编译后的包直接sudo make install,如果还不行,还可以源码下载编译 rcssserver: https://sourceforge.net/projects/sserver/files/rcssserver/...

markchalse的博客 6016

【AI论文】迈向具备深度推理能力的智能体RAG:大语言模型中RAG推理系统的综述

摘要:本文综述了检索增强生成(RAG)与推理在大语言模型中的协同演进。研究表明,单纯依靠检索或推理各有局限:RAG能提升事实准确性但推理能力不足,推理导向方法易产生知识幻觉。研究系统梳理了RAG-推理系统的发展路径,包括推理增强型RAG、RAG增强型推理以及新兴的协同式框架,并基于工作流程和智能体策略对现有方法进行分类比较。同时评估了相关基准测试的适用性,指出当前在评估多模态处理、噪声鲁棒性等方面的不足。最后提出六大未来方向:提升推理与检索效率、优化人机协作机制、发展智能体架构、实现多模态检索融合、加强检索

m0_66899341的博客 2515

告别WSL:Ollama Windows原生部署与GPU加速实战

本文详细介绍了Ollama在Windows系统上的原生部署与GPU加速实战指南。告别WSL,通过官方原生应用直接调用NVIDIA和AMD显卡,实现更高效的本地大模型运行。文章涵盖系统准备、三步安装、模型拉取运行、GPU性能优化及高级配置,为Windows AI开发者提供一站式解决方案。

prometheus9mon的博客 536

GraphRag实战篇:RAG+知识图谱,提升模型推理能力的大杀器,值得收藏!

经典RAG应用的范式与架构已经非常流行,我们可以在很短的时间内借助成熟框架开发一个简单能用的RAG应用。但是传统的RAG系统有个非常大的局限,即不善于处理复杂关系推理、总结性问题和多跳问题。因为传统RAG需要对文本进行分块,然后进行向量化存储,这种处理模式就会天然导致RAG在全局查询或总结上的表现不会太好。比如面对这样的问题,“《跨越鸿沟》这本书整体上讲了什么?请撰写一份2000字的总结”,传统RAG大概率会表现不及格。

xx_nm98的博客 1万+

使用VS Code创建第一个Flutter工程

你可以使用任意文本编辑器结合命令行工具来开发Flutter应用。然而,我们推荐使用本文介绍的编辑器插件以获取更好的开发体验。这些插件提供了代码补全、代码高亮、widget辅助编辑等功能,以及为项目的运行和调试提供支持。推荐的开发工具有VS Code、Android Studio、IntelliJ。本文将重点介绍如何使用VS Code进行Flutter应用开发。

2501_91373349的博客 2129

虚拟网络的“隐形盾”:C#如何用代码把DDoS踢出门?

本文分享了如何用C#防御DDoS攻击的实战经验。通过三种核心防御策略:1)基于IP的速率限制中间件,使用滑动时间窗口算法控制请求流量;2)自动IP封禁服务,通过特征检测识别恶意IP并加入黑名单;3)优化数据库连接池和HTTP客户端连接池,合理配置资源参数。文中提供了详细的C#代码实现,包括限流中间件、IP封禁服务和连接池优化方案,并分享了生产环境中的调优经验,如配合Redis实现分布式限流、使用fail2ban自动封禁等技巧,帮助开发者构建更健壮的防御体系。

墨夶的博客 329

CoT-RAG:结合知识图谱和RAG提升模型推理能力

虽然思维链(CoT)推理提高了大型语言模型(LLMs)在复杂任务中的表现,但它仍然面临两个主要挑战:完全依赖 LLMs 生成推理链的可靠性较低,以及自然语言推理链对 LLMs 推理逻辑的干扰。为了解决这些问题,

王哥儿聊AI的博客 1267

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain&#39;s apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath(&#39;DeepLearnToolbox&#39;));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand(&#39;state&#39;,0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W&#39;); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand(&#39;state&#39;,0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = &#39;sigm&#39;;%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, &#39;Too big error&#39;);```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand(&#39;state&#39;,0)sae = saesetup([784 100]);sae.ae{1}.activation_function = &#39;sigm&#39;;sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)&#39;)% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = &#39;sigm&#39;;nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, &#39;Too big error&#39;);```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x&#39;,28,28,60000))/255;test_x = double(reshape(test_x&#39;,28,28,10000))/255;train_y = double(train_y&#39;);test_y = double(test_y&#39;);%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you&#39;ll get around 1.2% errorrand(&#39;state&#39;,0)cnn.layers = { struct(&#39;type&#39;, &#39;i&#39;) %input layer struct(&#39;type&#39;, &#39;c&#39;, &#39;outputmaps&#39;, 6, &#39;kernelsize&#39;, 5) %convolution layer struct(&#39;type&#39;, &#39;s&#39;, &#39;scale&#39;, 2) %sub sampling layer struct(&#39;type&#39;, &#39;c&#39;, &#39;outputmaps&#39;, 12, &#39;kernelsize&#39;, 5) %convolution layer struct(&#39;type&#39;, &#39;s&#39;, &#39;scale&#39;, 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, &#39;Too big error&#39;);```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand(&#39;state&#39;,0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, &#39;Too big error&#39;);%% ex2 neural net with L2 weight decayrand(&#39;state&#39;,0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, &#39;Too big error&#39;);%% ex3 neural net with dropoutrand(&#39;state&#39;,0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, &#39;Too big error&#39;);%% ex4 neural net with sigmoid activation functionrand(&#39;state&#39;,0)nn = nnsetup([784 100 10]);nn.activation_function = &#39;sigm&#39;; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, &#39;Too big error&#39;);%% ex5 plotting functionalityrand(&#39;state&#39;,0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = &#39;softmax&#39;; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, &#39;Too big error&#39;);%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand(&#39;state&#39;,0)nn = nnsetup([784 20 10]); nn.output = &#39;softmax&#39;; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, &#39;Too big error&#39;);```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

AlignRAG:一种用于解决RAG检索感知推理中不一致问题的可适应框架

检索增强生成(RAG)作为一种知识支持文本生成的基础范式已经崭露头角。然而,现有的RAG流水线往往无法确保推理轨迹与检索内容所施加的证据约束保持一致。本文将RAG重新定义为一个检索感知推理的问题,并确定了一个核心挑战:推理错位——模型推理轨迹与检索到的证据之间的不匹配。为了解决这一挑战,我们提出了AlignRAG,这是一种新颖的测试时框架,通过迭代批判驱动对齐(CDA)步骤来缓解推理错位。与依赖静态训练或事后选择的先前方法不同,AlignRAG在推理过程中主动优化推理轨迹,通过精细对齐证据。

栖客 1222

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

【RAG】混合RAG系统,提升复杂推理任务表现

RAG的兴起,越来越多的人开始关注文档结构化解析的效果,这个赛道变得非常的同质化。关于文档智能解析过程中的每个技术环节的技术点,前期文章详细介绍了很多内容:下面我们简单的看看Docling这个PDF文档解析框架里面都有什么技术。文档智能解析现在非常同质化,实际上能解决自己场景文档解析的实用工具很少,不过可以参考下Docling工程上的具体优化,如多线程等。结合一些其他较强的开源或者自研的小模型,进行替换,打造自己的文档解析工具。

余俊晖,NLP炼丹师,目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。 1877

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

M3KG-RAG:让多模态 RAG 真正“会推理”的关键一步

原创 MindChain.AI2026年1月5日 12:01新加坡📌 一句话总结:本工作提出 M3KG-RAG,一个基于多跳多模态知识图谱的检索增强生成框架,通过模态感知检索与精细化剪枝机制,显著提升多模态大模型在音频、视频与视听联合任务中的推理深度与答案可信度。🔍 背景问题:当前多模态 RAG 在音视频场景中仍面临两类核心瓶颈:1️⃣ 现有多模态知识图谱(MMKG)多为单跳、概念级结构,难以支撑时序性与因果性的深层推理;

Python_0011的博客 1795

RAG开发中常见的12个痛点及天壤解法,看完你算是入门大模型了!

还记得Barnett 等人论文《构建检索增强生成系统的七大挑战》在业界引起了广泛关注,激发了一场关于 RAG 技术发展的热烈讨论。Wenqi Glantz 进一步丰富了这一讨论,在原有基础上增加了 5 个关键痛点,将 RAG 开发中的难题扩展到了 12 个。在本文中,我们将深入剖析,展示天壤如何利用技术手段来应对 RAG 的 12 个痛点,创造出更加实用、更精准的 AI 应用。1知识库中缺少必要的上下文信息。

zhishi0000的博客 1331
上一篇: Rerank:为什么它是 RAG 效果的分水岭?
下一篇: 一文讲清:什么是大模型、Agent、MCP?25 个 AI 高频概念全解读
Python_金钱豹
博客等级 码龄5年 1万+粉丝 2841原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值