破局知识幻觉!清华万字综述:Agentic RAG如何让AI真正会思考?RAG-Reasoning系统避坑指南!

Towards Agentic RAG with Deep Reasoning: A Survey of RAG-Reasoning Systems in LLMs 背景与问题:LLMs存在两大局限——知识幻觉(因知识静态存储)和复杂推理能力弱。为此,研究形成两大方向:RAG(提供外部知识)和推理增强方法,但早期两者多为单向增强,存在检索适配性不足、推理深度有限、系统适应性差等问题。三大框架分类推理增强RAG(Reasoning-Enhanced RAG):利用推理优化RAG的检索、整合、生成全流程(如推理感知的查询重构、证据融合、生成时的事实验证)。RAG增强推理(RAG-Enhanced Reasoning) 阅读详情

大语言模型虽然具备强大的生成能力,但仍受困于两大瓶颈:知识幻觉与复杂推理不足。传统RAG技术虽能增强事实性,却难以应对多步推理;纯推理方法又常因缺乏事实支撑而失真。

清华大学等研究机构的学者系统地对检索-推理系统进行了详细研究:首先梳理了两种单向增强方法:推理增强型RAG(通过多步推理优化检索流程)和RAG增强型推理(利用检索知识填补逻辑漏洞)。随后,重点探讨了新兴的协同检索-推理框架,推理过程主动指导检索策略,而新检索到的知识又持续优化推理流程。这一趋势也进一步体现在最新的Deep Research类产品中,强调检索与推理的紧密耦合以增强解决复杂问题的能力。

本文的综述不仅填补了该领域系统化研究的空白,也为构建更高效、多模态适应、可信且以人为中心的检索-推理系统提供了重要参考,为后续技术发展指明了路径。

  • 论文标题:Towards Agentic RAG with Deep Reasoning: ASurvey of RAG-Reasoning Systems in LLMs
  • 论文链接:https://arxiv.org/pdf/2507.09477
  • 项目地址:https://github.com/DavidZWZ/Awesome-RAG-Reasoning

01

推理增强型RAG

传统RAG先检索文档,再结合查询生成答案,但这类方法往往难以处理复杂推理。通过在检索、整合与生成各阶段融入推理能力,可提升信息匹配精度,减少幻觉,增强回答准确性。

(1)检索优化

检索优化利用推理来提高结果的相关性和质量。现有方法主要分为三类:

推理感知的查询重构

通过重构原始查询来更好地获取与推理相关的上下文。首先查询分解将复杂问题拆解为更简单的子查询;然后查询改写将模糊查询转化为更清晰的表述,部分研究采用强化学习训练改写模型以匹配生成器的推理需求;最后查询扩展通过思维链推理增强查询的语义丰富度。

检索策略与规划

检索优化的两大技术路线包括:采用推理模型预先生成完整检索蓝图的全局规划;采用单步预测机制动态判断是否需要检索的自适应决策。

检索模型增强

现有研究通过两种方式增强检索器推理能力:利用知识图谱(GNN-RAG采用图神经网络编码知识图谱实现隐式多跳推理)或符号规则(RuleRAG)等结构化知识指导检索;或将CoT****显式推理与查询结合,提升多跳问答的中间知识召回。

(2)整合优化

通过引入推理机制来评估相关性并融合多源证据,从而避免无关内容干扰最终生成效果。其核心方法可分为两类:

相关性评估与过滤

通过深层次推理评估检索片段与查询的相关性。如SEER采用评估专家机制筛选高质量证据;Yoran等人使用NLI模型过滤非蕴含内容,并通过混合上下文微调LLM来抑制噪声干扰。

信息合成与融合

识别相关片段后,需将其融合为连贯证据集。BeamAggR基于概率推理聚合子问题答案组合;DualRAG通过推理增强查询渐进聚合信息;CRP-RAG构建推理图以处理节点级知识,生成前动态选择最佳知识路径。

(3)生成优化

传统RAG系统即便获取检索内容,仍会因缺乏推理生成不实内容。当下研究主要采用两种优化方案:

上下文感知合成策略

通过选择性上下文利用和构建显式推理路径来确保生成内容的相关性并降低噪声。

基于证据的生成控制

通过推理验证机制,确保输出紧扣检索证据。如:事实验证方法评估生成内容与证据的一致性;引用生成方法通过关联内容与来源提升可信度;忠实推理方法要求每一步均基于证据,避免引入未经验证信息。

02

RAG增强型推理

在推理过程中整合外部知识或上下文中的知识,有助于大语言模型减少幻觉并弥补逻辑漏洞。

(1)外部知识检索

通过整合网络内容、数据库信息和外部工具来增强推理能力,有效填补知识空白。定向检索技术将推理步骤锚定在已验证的外部证据上,使语言模型能够可靠处理复杂查询,显著提升事实准确性。

(2)上下文检索

利用模型的内部经验或从示例和训练数据中检索到的样例来引导推理。该方法提供相关范例,指导模型模仿推理模式,从而提升回答新问题时的准确性和逻辑连贯性。

03

检索-推理协同范式

许多现实问题(如开放域问答和科学发现)需迭代式检索与推理,使新证据不断优化推理,反之亦然。单次检索或推理难以充分支持复杂任务。通过多步交互式协同,系统可逐步提升信息相关性与查询理解。现有方法主要聚焦两个方向:

(1)推理工作流

推理工作流可分为基于链、基于树和基于图的结构,体现出从线性推理向多分支复杂推理范式的技术演进。

**基于链:**链式推理架构(如CoT)通过线性思维链进行推理,但仅依赖大语言模型的参数化知识,容易产生错误传播。为此,研究者通过在推理步骤间加入检索操作来优化,最新进展还引入了验证与过滤机制以提升鲁棒性。

**基于树:**通常采用“思维树”(ToT)或蒙特卡洛树搜索(MCTS)框架。ToT 将思维链扩展为显式构建确定性推理树,从而并行探索多条逻辑路径。相比之下,基于 MCTS 的方法采用概率树搜索,依据启发式概率动态优先探索高潜力路径。

**基于图:**Walk-on-Graph方法主要依赖图学习技术实现检索与推理的协同。相比之下,Think-on-Graph方法直接将图结构整合到大语言模型推理循环中,通过模型自主引导实现动态迭代的检索-推理过程。

(2)智能体编排

根据智能体架构分类,现有研究可划分为两大方向:

单智能体

单智能体系统将知识检索融入大语言模型的推理循环中,使其能够在解决问题的每一步动态查找信息,并在需要时主动寻找相关证据。

具体实现包括:使用提示策略使大模型显式交替执行推理和工具调用;通过基于指令或合成数据集的监督微调(SFT)方法;以及强化学习驱动,通过奖励信号优化智能体行为的方法(最近研究进一步推出在动态环境下及端到端的强化学习训练)。

多智能体

RAG与推理任务中的多智能体协作研究催生了两类典型架构:集中式架构(通过"工作者-管理者"模式整合集体智能)与分布式架构(利用角色专精智能体的互补能力)。

04

挑战与机遇

协同式检索-推理系统的未来研究致力于提升推理和检索能力,以满足现实世界对准确性、效率、可信度和用户对齐的需求。下面概述关键挑战与机遇:

推理效率:协同式检索-推理系统虽擅长复杂推理,但因迭代检索与多步推理易致显著延迟。未来需通过潜在推理、思维蒸馏、长度惩罚等策略优化推理效率,并探索模型压缩技术,发展高效的轻量级系统。

检索效率:在检索方面,需结合预算感知的查询规划与记忆感知的缓存机制,减少冗余访问;通过自适应检索控制,依据不确定性信号动态调整检索时机与规模,降低无效操作。这些技术推动系统从静态RAG向现实约束下的动态、自调节高效检索演进。

人机协作:检索-推理应用多具个性化,用户往往难以明确需求或处理结果。未来系统需建模不确定意图,支持迭代澄清,并设计可自适应用户水平与偏好的智能体。

智能体架构与能力:协同式检索-推理的核心是智能体架构,系统能自主分配角色并调用工具或检索策略。未来研究应聚焦于构建支持动态选工具、检索规划与自适应协同的智能体框架。

多模态检索:现有协同式检索-推理系统多限于文本任务,但实际应用亟需多模态内容的检索与融合。未来研究应增强多模态大模型的跨模态对齐与推理能力,发展混合模态思维链以支持现实交互,并构建统一的多模态检索器,实现对图像、表格、文本等异构数据的联合嵌入。

检索可信度:协同式检索-推理系统易受污染知识的攻击,确保检索可信对推理可靠性至关重要。水印等技术可提升可追溯性,但亟需更动态自适应的方法应对模型演进与新型攻击。不确定性量化与鲁棒生成已单独探索,未来应整合以增强系统可信与鲁棒性,并扩展基准至多维可信度评估。

如何学习大模型 AI ?

我国在AI大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年,人才缺口已超百万,凸显培养不足。随着Al技术飞速发展,预计到2025年,这一缺口将急剧扩大至400万,严重制约我国Al产业的创新步伐。加强人才培养,优化教育体系,国际合作并进,是破解困局、推动AI发展的关键。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

2025最新大模型学习路线

明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛,没有明确的学习路线可能会导致新人感到迷茫,不知道应该专注于哪些内容。

对于从来没有接触过AI大模型的同学,我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

在这里插入图片描述

针对以上大模型的学习路线我们也整理了对应的学习视频教程,和配套的学习资料。

大模型经典PDF书籍

新手必备的大模型学习PDF书单来了!全是硬核知识,帮你少走弯路!

在这里插入图片描述

配套大模型项目实战

所有视频教程所涉及的实战项目和项目源码等
在这里插入图片描述

博主介绍+AI项目案例集锦

MoPaaS专注于Al技术能力建设与应用场景开发,与智学优课联合孵化,培养适合未来发展需求的技术性人才和应用型领袖。

在这里插入图片描述

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

为什么要学习大模型?

2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 , 大模型作为其中的重要组成部分 , 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力, 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ,为各行各业带来了革命性的改变和机遇 。

在这里插入图片描述

适合人群

  • 在校学生:包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础,有志于深入AGI大模型行业,希望开展相关的研究和开发工作。
  • IT行业从业人员:包括在职或失业者,涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验,至少1年以上的编程工作经验,对大模型技术感兴趣或有业务需求,希望通过课程提升自身在IT领域的竞争力。
  • IT管理及技术研究领域人员:包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势,主导技术创新,推动大模型技术在企业业务中的应用与改造。
  • 传统AI从业人员:包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作,现需要快速补充大模型技术能力,获得大模型训练微调的实操技能,以适应新的技术发展趋势。
    在这里插入图片描述

课程精彩瞬间

大模型核心原理与Prompt:掌握大语言模型的核心知识,了解行业应用与趋势;熟练Python编程,提升提示工程技能,为Al应用开发打下坚实基础。

在这里插入图片描述

RAG应用开发工程:掌握RAG应用开发全流程,理解前沿技术,提升商业化分析与优化能力,通过实战项目加深理解与应用。 在这里插入图片描述

Agent应用架构进阶实践:掌握大模型Agent技术的核心原理与实践应用,能够独立完成Agent系统的设计与开发,提升多智能体协同与复杂任务处理的能力,为AI产品的创新与优化提供有力支持。
在这里插入图片描述

模型微调与私有化大模型:掌握大模型微调与私有化部署技能,提升模型优化与部署能力,为大模型项目落地打下坚实基础。 在这里插入图片描述

顶尖师资,深耕AI大模型前沿技术

实战专家亲授,让你少走弯路
在这里插入图片描述

一对一学习规划,职业生涯指导

  • 真实商业项目实训
  • 大厂绿色直通车

人才库优秀学员参与真实商业项目实训

以商业交付标准作为学习标准,具备真实大模型项目实践操作经验可写入简历,支持项目背调

在这里插入图片描述
大厂绿色直通车,冲击行业高薪岗位
在这里插入图片描述

文中涉及到的完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

大语言模型原理与工程实践:推理和行动协同技术 1. 背景介绍 1.1 大语言模型的崛起 近年来,随着深度学习技术的飞速发展,大语言模型(LLM)在自然语言处理领域取得了前所未有的成功。这些模型通常基于Transformer架构,拥有数十亿甚至数万亿的参数,能够在海量文本数据上进行训练,并展现出惊人的语言理解和生成能力。从GPT-3到BERT,再 阅读详情

相关推荐

基于STM32与HRTIM的四开关Buck-Boost双向DC-DC电源设计实战(附源码、仿真与设计解析)

本文详细介绍了基于STM32F334的HRTIM高分辨率定时器实现四开关Buck-Boost双向DC-DC电源的设计实战。通过精准的PWM控制、双环PID算法和智能模式切换逻辑,解决了电压震荡与效率优化等关键问题,并提供了完整的源码、PSIM仿真及参数计算,为高性能电源设计提供了实用参考。

7z8x2c4v6b9的博客 299

AI新热点:边云协同:大模型结合小模型(大小模型联合推理)

AI模型规模不断剧增已是不争的事实。模型参数增长至百亿、千亿、万亿甚至十万亿,大模型在算力推动下演变为人工智能领域一场新的“军备竞赛”。这种竞赛很大程度推动了人工智能的发展,但随之而来的能耗和端侧部署问题限制了大模型应用落地。2022达摩院十大科技趋势指出,“大模型参数竞赛正进入冷静期,大小模型将在云边端协同进化”。历史上计算形态经历了几次重要变化:当本地计算成本低于通信成本时,计算模式由分时共享机制迅速转变为本地计算完成方式;当网络技术进步使得通信成本远低于计算成本时,开始出现由。

Java开发,人工智能,边缘计算,致力于掌握前沿技术 1万+

SPMI、PMBus、AVSBus:三大电源管理总线对比与选型指南

在现代电子系统中,电源管理是确保高性能与低功耗平衡的核心技术。其原理在于通过数字通信协议,实现电源管理单元(PMIC)与用电芯片间的精准“对话”,从而动态调整供电。这项技术的核心价值在于提升系统能效、增强可靠性并简化设计。其应用场景广泛,从智能手机、服务器到汽车电子无处不在。具体实现上,衍生出了三大主流协议:为移动嵌入式高度集成的SPMI总线、专注于工业标准监控的PMBus总线,以及追求极致实时能效的AVSBus总线。理解SPMI在复杂时序控制与PMBus在标准化配置方面的异同,是进行电源架构选型与调试的关

ithome 451

【项目实训】新增根据关键词模糊查询大模型生成的相应公司的问题

为了完善项目,我们计划新增一个页面,以实现用户输入关键词,从而到数据库中模糊查询。实现逻辑:用户输入关键词,选择公司,首先根据公司查询该公司的高频考点,(如果用户没有选择公司,则不匹配公司名称,自动匹配关键词即可),查询到高频考点后,进入大模型生成的问题的表llmquestion中,模糊查询问题,从而在前端显示该公司对应于该关键词可能提问的问题,以供用户参考。

m0_63711281的博客 441

车辆动力学从入门到进阶之路(传统篇)

新手如何入门车辆动力学开发领域,本文为您引路!

CrazyRabbit的博客 1万+

Python学习(一)

快速入门 1.Linux系统中是可以直接使用Python进行编程,具体如下: 进入Python:在linux的Terminal中输入 Python ,进入Python的命令行; 退出Python:在linux的Terminal中输入quit() 或 exit() 或 ctrl +d ,再回车,退出Python的命令行。 2.python的源程序就是一个特殊格式的文本文件,可以使用任意文本编辑软件做Python的开发。 3.Python程序的文件扩展名通常都是 .py。 4.执行Python程序的方式:在

SummerXRT的博客 1280

HiRAG:基于层级知识索引和检索的高精度RAG

(如“DATA MINING”概括“BIG DATA”和“RECOMMENDATION SYSTEM”),摘要实体集合是所有聚类生成实体的并集。使用。

m0_59235945的博客 2067

告别抖动与滞后:深入博能传动伺服DSC功能,用105报文提升多轴同步性能

本文深入解析博能传动伺服DSC功能如何通过105报文实现多轴同步性能提升,有效解决工业自动化中的抖动与滞后问题。详细介绍了DSC技术原理、105报文实现机制及多轴同步工程实践,帮助工程师优化伺服系统性能,实现绝对齿轮同步。

weixin_30394981的博客 184

【大模型之Graph RAG系列之二】对比传统RAG技术中使用的向量搜索技术,知识图谱有哪些优缺点?

向量搜索和知识图谱是两项用于改善搜索体验的重要技术。结合这两种技术形成的Graph RAG可以进一步提高搜索的准确性和上下文相关性。本文将深入对比向量搜索和知识图谱,让读者快速了解这两种技术的原理及优缺点,以便于将来的技术决策。

surfirst的博客 952

数据处理和分析之数据聚类:层次聚类(Hierarchical Clustering):单链接层次聚类方法

单链接层次聚类(Single-Linkage Hierarchical Clustering)是凝聚型层次聚类的一种,它基于数据点之间的最小距离来定义聚类间的相似性。在单链接层次聚类中,两个聚类之间的距离定义为这两个聚类中任意两个数据点之间的最短距离。这种聚类方法倾向于形成链状或线性的聚类,因为聚类的边界是由最远的数据点决定的,而不是聚类的平均或中心位置。单链接层次聚类通过计算簇间最近点的距离来决定簇的合并,这种方法简单直观,但可能导致簇的形状不规则,尤其是在数据点分布不均匀的情况下。

2401_87715305的博客 1443

万字长文,小白新手怎么开始做YOLO实验,从零开始教!整体思路在这里,科研指南针!

万字长文,小白新手怎么开始做YOLO实验,从零开始教!整体思路在这里,科研指南针!

Coding... 1万+

使用大模型进行自然语言查询数据库:轻松实现数据检索与分析

演示了如何使用大模型,将自然语言生成sql,并将sql查询结果,以自然语言形式回答想得到预期结果,十分依赖大模型能力和相关的提示词目前测试,gpt4效果最好,国内云端模型qwen高级模型较好,其他云端模型问题较多本文主要使用qwen2:7b, 在检索阶段(自然语言生成sql)可能需要依赖更强的云端模型初步结论,如果采用 nl2sql 方式,需要能力更高的云端或者自己微调的本地模型。

2401_84494441的博客 6571

31、车载通信中的可见光通信(VLC)技术解析

本文详细解析了车载通信中可见光通信(VLC)技术的应用背景、优势及发展前景。对比传统RF通信技术(如DSRC),VLC利用LED照明设备实现高效、安全的车辆与车辆、车辆与基础设施之间的通信,具有频谱资源丰富、安全性高、无电磁干扰等优势。文章还探讨了VLC在交叉口交通控制、高速公路通信、自动驾驶等场景的应用潜力,展望了其在未来智能交通系统中的重要作用。

hill8的博客 318

PostgreSQL大数据量快速模糊检索实践

注意: 本文内容于 2024-08-18 23:50:33 创建,可能不会在此平台上进行更新。。

meethigher的博客 2732

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

大模型+知识图谱=王炸组合?这3个应用场景正在改变AI落地方式!

目前,随着智能信息服务应用的不断发展,知识图谱已被广泛应用于智能搜索、智能问答、个性化推荐、情报分析、反欺诈等领域,它在技术领域的热度也在逐年上升。 从一开始的Google搜索,到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统,无一不跟知识图谱相关。

Gaga246的博客 1209

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

论文浅尝 | 基于知识引导的检索增强生成,实现大型语言模型的深度与忠实推理(ICLR2025)

的推理能力和忠实度。这种迭代流程模仿了人类解决问题时的探索方式,即基于现有线索逐步扩展和深化对问题的理解,每次迭代都通过知识图谱和文本的交互作用来缩小检索范围,最终找到能够回答问题的关键信息。在复杂知识推理任务中的性能。该框架利用知识图谱的结构化关系来指导文本检索,确保检索过程能够捕捉到实体间的深层次关联,同时通过文本上下文优化知识图谱的检索,从而实现更精准和全面的知识发现。)和文本检索,利用知识图谱的结构化关系指导文本检索过程,同时借助文本上下文优化知识图谱的检索,从而实现深度和全面的检索过程。

开放知识图谱 1693

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

DeepSeek底层揭秘——多跳推理

多跳推理是一种通过跨越多个信息片段或知识点逐步推导答案的技术,能够处理复杂的推理任务,提升模型的逻辑推理能力和信息整合能力。多跳推理(Multi-hop Reasoning)是一种复杂的推理技术,指模型在回答问题或解决任务时,需要跨越多个信息片段或知识点,逐步推导出最终答案,而不是直接从单一信息源中获取结果。例如,在自然语言处理(NLP)中,多跳推理任务可能需要模型从多个段落中提取相关信息,并将这些信息结合起来得出答案。例如,在多跳问答任务中,模型需要先回答中间问题,再利用中间答案推导最终答案。

Arthur Guo 的专栏 3404

大模型训练与推理的协同优化:从训练框架到推理部署的无缝衔接

训练到推理的协同优化不仅仅是格式转换,而是贯穿模型生命周期的系统工程决策。PTQ和QAT的选择取决于精度需求和训练资源的可用性。LoRA权重的推理合并用显存换延迟——合并后零额外计算但失去热切换能力。分布式推理的张量并行和流水线并行各有通信特征,混合策略是生产环境的标配。训练checkpoint到推理格式的转换链路应该自动化,依赖手动操作在这个环节是效率和质量的双重风险。

dicky_zhang3的博客 4645

搭建个人知识库,支持Word、PDF、txt等,一般电脑也能玩。

本地部署大模型,再构建个人知识库,跑自己的文档、数据等,有很多好处。比如,隐私的财务数据可以借力AI大模型做总结,股票数据实时接入到大模型做数据分析,个人word文档批量读取做总结等。本篇教程继续系列上一篇教程:自己电脑搭建个人知识库,一般电脑也能玩(支持通义千问、GPT等)。在此基础上,扩展支持PDF和txt文件的读取。错过上篇教程的,我简单再在这里和大家回顾一下。

z551646的博客 7652

大模型+知识图谱在工业领域落地的4大场景

对于 AI 技术,大家热聊的话题超 90% 都是围绕大模型,而知识图谱则是上一波 AI 浪潮中比较热门的技术。今天特邀行业专家,探讨关于大模型和知识图谱在工业领域的一些落地实践。主要分为四个部分展开:大模型和知识图谱的关系、大模型+知识图谱双擎的原理、大模型+知识图谱双擎的工业应用场景、大模型+知识图谱双擎在工业领域的成功案例。大模型和知识图谱到底是什么呢?人类有两种主要的思维模式,一种是快速而直觉的,另一种是缓慢而深思熟虑的,这种说法起源于并广泛存在于古老的哲学和心理学著作中。

xx_nm98的博客 2124

使用大模型自然语言查询数据库

演示了如何使用大模型,将自然语言生成sql,并将sql查询结果,以自然语言形式回答想得到预期结果,十分依赖大模型能力和相关的提示词目前测试,gpt4效果最好,国内云端模型qwen高级模型较好,其他云端模型问题较多本文主要使用qwen2:7b, 在检索阶段(自然语言生成sql)可能需要依赖更强的云端模型初步结论,如果采用 nl2sql 方式,需要能力更高的云端或者自己微调的本地模型如何学习AI大模型?我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

2401_85343303的博客 1878

[经典之作]大语言模型与知识图谱的融合:通往智能未来的路线图

本文提出融合大语言模型(LLMs)与知识图谱(KGs)的三大框架:KG增强LLMs、LLM增强KGs及协同LLMs+KGs。LLMs擅长语言处理但缺乏事实性知识,KGs存储结构化知识但构建困难,两者优势互补。研究系统梳理了技术背景、集成方法及应用场景,并指出当前挑战与未来方向,包括神经符号融合、持续学习等。该路线图为构建下一代智能系统提供了系统性指导,推动人工智能向更高水平发展。

2018

视频隐私脱敏工程化:CSRT/KCF追踪算法在本地推理中的实现与边界

在短视频内容合规审查中,动态遮挡(Dynamic Masking)是高频且高耗时的环节。传统手动关键帧打码不仅效率低下,且在目标快速移动或遮挡时极易出现遮罩漂移。本文从计算机视觉工程角度,解析基于CSRT与KCF算法的目标追踪方案在视频隐私处理中的技术路径、性能权衡及落地实践。

Mysssone的博客 224

6 款电商 AI 图片生成软件实测|国内 + 跨境卖家工具清单

电商 AI 作图工具已经从 "能不能用" 进入了 "好不好用" 的阶段。对于绝大多数卖家而言,现在的 AI 工具已经可以覆盖 60%-80% 的基础商品图需求,显著降低拍摄和设计成本。选择工具的核心逻辑不是 "哪款最强",而是 "哪款最适配你的品类、平台规模和团队能力"。垂直电商工具胜在工作流效率,通用生图工具强在创意上限,模板类工具赢在上手速度。建议根据自身业务阶段,搭配 1-2 款主力工具 + 1 款辅助工具,形成适合自己的视觉生产流程。

Mardi_Ladin的博客 398

我用 GPUWorks 在 M1 Pro 上搭了个发票识别原型

公司里经常要看电子发票。我想先做个小原型:把 PDF 发给一个自己部署的图文模型,让它提取发票类型、日期、交易双方和金额,再把结果交给同事核对。这个原型不用先接财务系统,先看看从部署到调用要走多少步,模型返回的内容能不能帮上忙。

鸽芷咕的博客 2万+

您您这可以把问小白的多个会话比如说。左侧的多个会话一次性导出吗?不是单条会话里面的多次会对话。AI导出鸭

第三层是格式编译层。这个决策背后的判断很清晰:一个批量导出工具的价值,不在于“试三次”,而在于你真正用它处理了几十份技术文档、访谈记录或课程讲义之后,它是否值得留在你的工作流里。问小白的会话列表通过分页接口加载,AI导出鸭 在页面运行时建立旁路监听,捕获每一次分页请求返回的完整对话清单,包括会话 ID、标题、时间戳和隐藏的元数据字段。让AI导出回归优雅——这句话说的是:导出不该是体力活,而应该是一次完整的、可预期的文件交付。注意:这里的“批量”指的是左侧列表里的多个独立会话,不是一条会话内的多轮对话。

laoyunsi的博客 246
上一篇: 万字长文彻底拆解!四大微调工具横评:从显存优化到多模态支持,收藏这篇就够了!
下一篇: RAG知识库十大致命误区!90%企业都踩坑?万字避坑指南+准确率飙升案例,收藏这篇就够了!
Python_金钱豹
博客等级 码龄5年 1万+粉丝 2835原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值