- 博客(43)
- 收藏
- 关注
RSS订阅原创 # 反内卷，回基础：Nano-Memory用极简检索与剪枝，解决大模型长对话遗忘
对于追求与用户建立长期、个性化关系的对话 Agent 而言，一个可靠的“记忆系统”是不可或缺的核心组件。然而，随着对话轮次的增加，如何有效管理和利用日益庞大的历史信息，始终是一个悬而未决的难题。现有方案大多在复杂的架构上做文章，例如引入层级化摘要、知识图谱，甚至动用强化学习来优化记忆更新，但效果往往不尽人意，系统在长对话中依然容易“失忆”，遭遇“上下文稀释”（context dilution）的困境。
2026-04-16 18:19:44
456
原创 DPO收益甚微，LoRA竟被反超？斯坦福揭秘小模型微调的“最优解”
当前，）和）几乎已成为大模型对齐与微调的“标准动作”。我们似乎默认，先用SFT做监督微调，再用DPO对齐偏好，同时用LoRA来节省资源，就是一套黄金组合拳。但如果你的模型没那么“大”，数据也没那么“多”呢？这套组合拳还灵吗？来自斯坦福大学的一项最新实证研究，就给这个“想当然”的流程画上了一个大大的问号。研究者们在GPT-2（1.24亿参数）这样的小模型上系统地“解剖”了SFT、DPO、全量微调和LoRA的相互作用。
2026-04-14 13:44:35
381
原创 AdamW的继任者？AdamHD让LLM训练提速15%，性能提升4.7%，显存再省30%
在训练大语言模型（LLM）时，我们常常聚焦于模型架构、数据质量和训练规模，但一个“幕后英雄”同样至关重要——优化器。多年来，一直是训练Transformer模型的黄金标准。但它真的完美无缺吗？文本转载自公众号【AI研究】这会导致模型训练后期性能不佳。为了解决这个问题，研究者们提出了AdamHD，一个AdamW的即插即用替代品，效果惊人！
2025-11-26 00:00:00
370
原创 OmniScientist：让AI科学家“组建团队”，成果超越NIPS最佳论文！
OmniScientist标志着一个范式的转变：从设计孤立的AI研究工具，转向构建一个全面的、可进化的AI与人类共生的科学研究生态系统。通过将人类科学界的协作规范、评价体系和知识结构融入AI，OmniScientist让AI Agent从单纯的任务执行者， evolve 成为能够理解科研范式、参与协作、并与人类科学家共同推动知识边界的真正“科学家”。一个AI与人类科学家共同演化、加速创新的新时代，或许已经拉开序幕。
2025-11-25 14:57:40
726
原创 Agentic AI：智能体46页全面综述！
本文认为，这两个谱系在底层机制上是根本不兼容的，将它们混为一谈导致了“概念修补”（conceptual retrofitting）的问题——即用一个谱系（通常是新的神经范式）的术语去描述另一个谱系（经典的符号范式）的系统。这些智能体通过结构化的消息（如JSON或XML）进行通信和协作，其功能是通过提示路由和API工具使用来实现的，这与符号范式中基于状态和规划的循环完全不同。它们将智能体的内部状态分解为信念（对世界的认识）、愿望（目标）和意图（承诺执行的计划），通过预定义的规则和推理循环来实现复杂的决策。
2025-10-31 20:30:00
1091
原创 微软AsyncThink：全新推理范式，解决多智能体协作问题！
本文提出了一种名为 AsyncThink 的新推理范式，它允许大型语言模型通过一种“组织者-工作者”协议，将复杂的思考过程分解为可并发执行的子任务，并通过强化学习自主学会如何优化这种异步协同结构，从而在降低推理延迟的同时提升了解决问题的准确性。
2025-10-31 15:28:15
437
原创 加速智能体系统加速：英伟达提出SpecCache缓存框架！
本文对基于网络交互的智能体系统效率瓶颈进行了实证研究，并提出一个名为 SpecCache 的缓存框架，该框架利用推测性执行（speculative execution）来重叠模型推理与网络环境交互，从而在不降低任务性能的前提下，显著减少系统延迟。
2025-10-22 00:30:00
1029
原创 ROLL Flash：加速RLVR和Agent训练！
ROLL Flash: 本文提出的核心系统，它通过引入异步（Asynchrony）架构来增强原有的 ROLL 框架。其设计旨在通过解耦和并行化来加速强化学习价值对齐（RLVR）和智能体（Agent）训练。Rollout-训练解耦 (Rollout–Train Decoupling): ROLL Flash 的核心设计原则之一。它将 rollout 阶段（数据生成）和训练阶段（模型更新）部署在不同的计算资源上，使其能够并行执行。这消除了两个阶段间的同步等待，从而提升了资源利用率。
2025-10-21 07:45:00
1507
原创 Google等提出分层检索框架！
LLM引导的分层检索 (LLM-guided Hierarchical Retrieval)：本文提出的核心框架。它将信息检索任务分为两个阶段：离线构建语料库的语义树，以及在线由一个“搜索LLM”导航该树以找到相关文档。语义树 (Semantic Tree)：一种对文档语料库进行组织的树状结构。叶节点代表原始文档，而内部节点则是由LLM生成的、对其子节点内容的文本摘要。这种结构为LLM的导航提供了语义上的脚手架。本地评分器 (Local Scorer,LL：对“搜索LLM”功能的一种抽象。
2025-10-20 10:09:26
1022
原创 AgentInit：全新多智能体系统初始化方法！
ArXiv URL: http://arxiv.org/abs/2509.19236v1发布机构: Harbin Institute of Technology; The University of Sydney文本转载自公众号【AI研究】。本文提出了一种名为 AgentInit 的多智能体系统（Multi-Agent System, MAS）初始化方法，该方法通过生成一组多样化的候选智能体，并利用以任务相关性和团队多样性为目标的帕累托最优原则进行团队选择，来优化智能体团队的构成，从而提升协作效率与任务表
2025-10-05 13:00:00
737
原创 美团发布结构化反思机制：让Agent吸取教训！
本文的核心是结构化反思 (Structured Reflection)。它是一种显式的、可训练的行为策略，旨在使智能体能够从工具调用的失败中学习和恢复。诊断 (Diagnose)：智能体首先生成一段反思文本（例如，包裹在<reflect>标签内），根据上一步的错误反馈和上下文证据，清晰地诊断失败的根本原因。修复 (Repair)：基于诊断结果，智能体提出一个修正后的、可执行的工具调用请求。
2025-10-04 22:30:00
784
原创 微软发布TPT：思维增强预训练，显著提升AI推理能力！
思维增强预训练 (Thinking Augmented Pre-training, TPT): 一种数据工程方法。其核心思想是，利用一个现成的（off-the-shelf）大语言模型为一个预训练数据集中的每个文档自动生成一段解释性的“思维轨迹”文本。然后，将原始文档与生成的思维轨迹拼接起来，形成一个增强的数据样本，用于训练目标LLM。思维轨迹 (thinking trajectory): 针对一段给定的文本，由一个“教师”LLM生成的、模拟专家深入思考过程的文本内容。
2025-10-04 06:15:00
1039
原创 微软：超越RoPE！因果掩码是如何精确地编码位置信息的？
本文主要对现有概念进行了深入的理论剖析，而非提出全新定义。因果掩码 (Causal Mask)：传统上被视为防止模型看到未来token的机制。本文证明，它还是一种隐式的位置编码机制，通过其不对称的结构，在多层自注意力计算中自然地诱导出与位置相关的注意力模式。位置相关注意力模式 (Position-dependent Attention Pattern)：指注意力分数会根据查询（Query）和键（Key）的绝对位置(i, j)而变化的模式。
2025-10-02 09:30:00
903
原创 TALR：颠覆传统！SFT未必损害LLM通用能力
本文的核心结论是，领域 SFT 对通用能力的损害并非不可避免，其严重程度被先前研究高估。首选策略：在进行领域特定 SFT 时，应首先尝试使用一个小的学习率。这通常能以最小的代价实现良好的性能权衡。进阶策略：如果需要进一步平衡领域性能和通用能力，或必须在较大学习率下训练，采用 TALR 是一种有效且稳健的选择。
2025-10-01 07:00:00
982
原创 清华大学：系统性地揭示RL微调内部机制！
Transformer的图视角 (Graph View of Transformer)：本文将 Transformer 模型抽象为一个有向无环图（DAG）。图中的节点对应于模型中的计算子模块（如多头注意力块和前馈网络块），而边则代表了通过残差连接（residual connections）实现的信息流路径。这个视角是进行内部回路分析的基础。边缘归因修补 (Edge Attribution Patching, EAP)：一种用于估计模型内部信息路径重要性的高效方法。
2025-09-29 15:29:16
844
原创 DeepMind提出潜在学习Latent learning: 为理解RAG提供新的理论视角！
本文的核心论点建立在对认知科学概念的借鉴和对机器学习泛化能力的重新审视之上。潜在学习 (Latent Learning): 指系统学习那些与当前任务没有直接关系，但可能在未来不同任务中有用的信息的能力。例如，一个智能体在不饿的时候探索迷宫，虽然没有寻找食物的动机，但它记住了食物的位置，以便在未来饥饿时能快速找到。本文认为，现有AI系统在大多数情况下缺乏这种能力，它们只学习与当前任务相关的信息。互补学习系统 (Complementary Learning Systems)
2025-09-26 08:15:00
889
原创 LIMI：78个样本就能训练出强大AI智能体！智能体开发神器
智能体能力 (Agency)：本文将其定义为AI系统作为自主智能体运作的涌现能力——通过与环境和工具的自我导向互动，主动发现问题、形成假设并执行解决方案。这标志着AI从被动助手向主动智能体的范式转变。查询 (Query,qiq_iqi：指用户发起的、用自然语言描述任务目标的初始指令。它是整个智能体交互流程的起点，为后续的协作过程设定了目标和成功标准。轨迹 (Trajectory,τi\tau_iτi：指响应查询qiq_iqi而产生的完整、多轮的交互序列，形式化为τia。
2025-09-25 06:45:00
943
原创 字节跳动等发布BaseReward：系统总结奖励模型的关键要素！
朴素奖励模型 (Naive-RM)：最直接的方法，在预训练的多模态大语言模型 (MLLM) 顶部接一个线性奖励头，直接输出一个标量奖励分数。这种方法训练和推理速度快，但可解释性差。基于评论家的奖励模型 (Critic-based RM)：分两步走，首先让模型生成对回答的文本评论或分析，然后由一个奖励头对生成的评论文本进行打分。这种方法在性能和效率之间取得了平衡，但其效果严重依赖于评论的质量。生成式奖励模型 (Generative RM)：将奖励建模重新定义为一个生成任务。
2025-09-24 07:45:00
1043
原创 FlowRL：8大机构共同发布最新RL算法！
FlowRL: 本文提出的核心算法。它是一种策略优化算法，其目标不是像传统强化学习那样找到单一的最优解，而是让模型的输出分布与奖励信号引导的目标分布相匹配。这通过一种受流网络（GFlowNets）启发的流平衡（flow balancing）机制实现，鼓励智能体探索更多样化且有效的推理路径。奖励分布匹配 (Reward Distribution Matching): 本文的核心理念。与最大化标量奖励值的传统方法不同，该方法旨在学习一个策略π_θ(y|x)，使其输出的概率与奖励值r(x,y)的指数成正比，即。
2025-09-23 16:46:07
1243
原创 斯坦福Percy Liang团队：如果有足够显卡，如何设计最佳预训练策略？
标准配方 (Standard Recipe): 指当前数据受限场景下的常规做法，即重复使用数据（增加epoch）和增加模型参数数量。本文指出这种方法会很快遭遇过拟合瓶颈。正则化配方 (Regularized Recipe): 本文提出的第一个改进方法。通过对权重衰减（weight decay）、学习率和训练轮次进行联合精调（发现最优权重衰减比常规值大30倍），使得模型损失能够随着参数量的增加而单调下降，避免了过拟合。集成配方 (Ensembling Recipe): 本文提出的另一个更优的方法。
2025-09-23 16:40:23
835
原创 字节发布TARL：使用过程监督RL提升智能体工具使用能力！
本文的核心方法和概念建立在一个为强化学习设计的沙盒环境之上。沙盒环境 (Sandbox Environment)：一个专为训练交互式工具使用智能体而设计的模拟环境。它包含一个带API的后端应用、一个模拟真实用户（支持文本和语音）的LLM用户模拟器，以及一个基于规则的验证器，用于评估智能体的行为并提供最终任务奖励。回合级评审强化学习 (Turn-level Adjudicated Reinforcement Learning, TARL)：本文提出的核心方法。
2025-09-22 16:55:21
1233
原创 Meta发布语言自博弈方法LSP，构建强化学习框架让LLM左右互博，效果显著提升！
不要在你生成的输入中包含回答（输出）、提示或泄露信息。输入不能要求语言智能体无法执行的动作。一旦你的响应满足模板，立即停止生成。你的响应不能包含[Start Generation]和[End Generation]标签。严格遵循模板，除非任务和模板都为None或为空（此时你应该根据自己的最佳判断生成输入）。现在，作为对此提示的响应，请遵循模板为语言任务’{task}'生成一个输入。
2025-09-19 08:15:00
1122
原创 清华唐杰团队DeepDive：用知识图谱+RL，极大提升DeepSearch智能体能力！
深度搜索智能体 (Deep Search Agent): 指能够整合外部浏览工具的大型语言模型。这类智能体被期望能够对来自上百个在线信息源的内容进行推理和搜索，以定位和解决复杂、答案难以查找的问题，这要求其具备长时序推理能力。难寻问题 (Hard-to-find Questions): 指那些涉及多个模糊实体、需要长时序推理和深度搜索才能解答的复杂问题。这类问题与传统问答数据（如 HotpotQA）中通过几次明确实体搜索就能解决的简单问题形成鲜明对比。
2025-09-18 09:30:00
1127
原创 谷歌提出AI智能体经济：自动在沙盒经济中进行相互交易！
这要求我们将AI智能体的巨大协调能力，从单纯的个体偏好满足，引导向预先设定的、有益于全人类的宏伟目标。本文提出了“沙盒经济”（sandbox economy）这一框架来分析这个新兴系统，并从两个关键维度对其进行刻画：其起源（自发涌现 vs. 有意设计）以及其与现有的人类经济的分离程度（可渗透 vs. 不可渗透）。当前的发展轨迹正导向一个自发涌现的、规模庞大且高度可渗透的AI智能体经济。这既为我们带来了前所未有的协作机会，也带来了巨大的挑战，包括系统性的经济风险和加剧的不平等。这引出了资源分配的公平性问题。
2025-09-17 10:59:56
711
原创 Deepmind发布GDR：生成式数据精炼框架！
生成式数据精炼 (Generative Data Refinement, GDR)：一个利用预训练的生成模型来转换数据集的框架。它针对数据集中每个样本，通过生成式重写来移除不希望出现的内容（如个人可识别信息、有毒言论），同时保留其他有用的信息，从而产出一个“精炼后”的数据集。扎根合成数据 (Grounded Synthetic Data)：指那些以真实数据样本为基础（或条件）生成的合成数据。
2025-09-16 07:30:00
1216
原创 地平线机器人与清华联合推出SynthDrive！可合成罕见场景自动驾驶数据！
本文提出SynthDrive框架，通过“真实-仿真-真实”流程自动生成自动驾驶所需的罕见场景数据。核心创新包括：1）基于文本提示从网络挖掘目标图像；2）混合式3D资产生成管线，结合多视图扩散、法线监督优化和纹理融合技术，从单张图像生成高保真3D资产；3）将资产无缝合成到驾驶场景中。实验表明，该方法在几何精度（倒角距离降低14.1%）和纹理质量（PSNR提升13.1%）上显著优于基线，且合成数据能提升下游2D/3D检测任务的性能（罕见类别AP提升3-4%）。
2025-09-15 07:15:00
1161
原创 CMU发布思维链蒸馏框架，教会LLM自动调整推理深度！
困难度感知推理 (Difficulty-Aware Reasoning): 指模型根据输入问题的内在复杂性，动态调整其推理过程的深度和详细程度的能力。对于简单问题，模型应生成简洁的推理步骤；对于复杂问题，则应生成更详尽的推理链。困难度感知的思维链蒸馏 (Difficulty-Aware Chain-of-Thought Distillation): 本文提出的核心框架。
2025-09-14 08:45:00
937
原创 SFR-DeepResearch：合成数据驱动的RL方法，将LLM转为DeepResearch智能体！
本文提出SFR-DeepResearch方法，将推理优化语言模型转化为深度研究（DR）任务的自主单智能体。核心贡献包括：（1）智能体推理脚手架，通过重构多轮交互为单轮上下文问答，适配不同模型特性；（2）长度归一化强化学习，创新性地用轨迹长度归一化奖励信号，解决RL训练中的低效刷步问题；（3）合成数据驱动的训练方法。实验表明，SFR-DR在FRAMES、GAIA等基准上超越同类开源系统，其中20B版本在HLE任务上相对基座模型提升65%。工作流设计与长度归一化被证明是性能提升的关键因素。
2025-09-14 07:45:00
1303
原创 用博弈论研究AI智能体：微软发现AI更看中短期利益！
本文通过迭代囚徒困境框架研究语言模型智能体的合作行为，发现其表现优于经典策略并能快速适应对手变化。实验设计包括与240种经典策略对战、策略切换测试和人类对比。结果显示，AI智能体具备善良、可激怒和慷慨等成功策略特征，应对策略突变时比人类更快（3.7 vs 5.4回合），但人类更倾向维持长期合作。研究表明，当前语言模型擅长短期收益优化，而人类更重视建立信任关系，这一差异为人机混合社会互动研究提供了新视角。
2025-09-13 18:45:00
1847
原创 结合SFT和RL，大幅提升效果：详解微软研究院发布BRIDGE训练框架！
微软研究院提出BRIDGE框架，通过双层优化将监督微调（SFT）和强化学习（RL）紧密结合，提升大语言模型推理能力。该框架将模型参数分为基础参数和LoRA参数，分别由RL和SFT优化，形成双向信息流。实验表明，BRIDGE在多个基准上性能显著优于传统方法，尤其在复杂任务中表现突出，同时训练效率更高，避免了灾难性遗忘问题。该方法为模型训练提供了新范式，实现了SFT与RL的高效协同。
2025-09-12 11:45:00
930
原创 Google DeepMind：证实Embedding模型存在根本的理论局限性！
本文揭示了单向量嵌入模型在信息检索中的根本局限性。通过理论分析，研究者证明低维嵌入无法表示所有可能的文档相关性组合，并将其与符号秩概念关联。为验证理论，他们构建了LIMIT数据集，包含46个文档的所有top-2组合，并嵌入5万干扰文档中。实验显示，即使最先进的单向量模型在该简单任务上表现极差(Recall@100<20%)，而稀疏模型和多向量架构表现优异。结果表明，现有主流基准未能充分测试模型的组合表征能力，突显了单向量嵌入在复杂检索场景中的理论瓶颈。
2025-09-11 12:15:00
866
原创 Paper2Agent：斯坦福的这个框架居然能直接将论文转为智能体！
斯坦福大学研究人员提出Paper2Agent框架，可将研究论文自动转化为交互式AI智能体。该框架通过多智能体系统分析论文代码库，将其核心方法封装为标准化的MCP服务器，最终生成支持自然语言交互的论文智能体。实验表明，该方法在基因组学、转录组学等领域能100%准确复现论文结果，并能发现新的科学见解，显著降低了前沿科研成果的应用门槛。该研究为科学知识传播提供了新范式。
2025-09-10 19:45:00
852
原创 字节Seed发布BAI方法，解决RLHF训练不稳定问题，吴永辉署名！
范式三 (Paradigm 3)：一种结合了两种主流大模型训练方法的混合范式，即在经过“基于蒸馏的推理能力微调（范式二）”的模型之上，再应用“从人类反馈中强化学习（RLHF）进行对齐（范式一）”。序列长度坍塌 (Sequence Length Collapse)：在范式三的早期RLHF训练阶段，模型生成的回复序列长度急剧缩短的一种现象。这削弱了模型进行详细推理的能力。奖励曲棍球棒曲线 (Reward Hockey Stick Curve)
2025-09-10 07:45:00
1013
原创 最新研究：生成式模型合成数据方法全面总结！
本文探讨了生成式AI模型在合成数据领域的应用与挑战。文章概述了三大核心生成模型（GANs、扩散模型和LLMs）及其技术特点，介绍了前沿的合成数据生成框架。重点分析了合成数据在文本、表格、图、序列及多模态数据挖掘任务中的应用场景，并列举了医疗、金融、教育等领域的实践案例。文章指出，尽管合成数据具有隐私保护、成本低廉等优势，但仍面临分布失真、模型坍塌等挑战，未来需探索生成式与传统方法的融合，以提升数据真实性和应用广度。
2025-09-08 11:00:00
2142
原创 InfoSeek ：BAAI发布Deep Research数据合成框架，效果优异！
深度研究 (Deep Research)：指超越简单事实查询的复杂任务，要求智能体能够将复杂问题分解为子问题、协调多步推理，并从多样化的信息源中综合证据。分层约束满足问题 (Hierarchical Constraint Satisfaction Problem, HCSP)：本文提出的对具有可验证答案的深度研究任务的形式化定义。与平面的约束满足问题（CSP）或线性的多跳问题（MHP）不同，HCSP包含一个相互依赖的约束层级结构，必须通过逐层解决子问题才能得到最终答案。
2025-09-08 07:45:00
785
原创 agent-first！UC伯克利革新数据系统架构：智能体优先！
本文提出“智能体优先”数据系统架构，针对LLM智能体工作负载的特性进行优化。传统系统难以应对智能体推测过程产生的高吞吐量、异构和冗余查询。实验表明，智能体推测具有规模性、冗余性和可引导性，新架构能显著减少查询次数（最多达36.6%）。该研究为面向智能体的下一代数据系统设计提供了理论基础。
2025-09-07 19:27:58
693
原创 上海交大等发布CODA ：可训练组合式Agent框架，模仿人脑大脑与小脑功能！大幅提升效果
摘要： 本文提出CODA框架，一种受大脑-小脑机制启发的可训练组合式智能体，通过解耦规划器（大脑）与执行器（小脑）协同解决科学计算等专业领域的长时序规划与精确GUI操作难题。核心创新包括：1）两阶段训练——先通过解耦强化学习（仅优化规划器）训练专用专家模型，再聚合多专家数据微调通用规划器；2）采用GRPO算法解决稀疏奖励问题；3）设计自动化数据生成与分布式评判系统。实验表明，CODA在ScienceBoard基准上超越基线模型（Pass@8提升20.47%），达到开源SOTA性能
2025-09-07 17:00:00
942
原创 普林斯顿&剑桥等：两阶段（SFT+RL）训练方法，让AI Agent学会自适应规划！
本文提出了一个用于动态规划的 conceptual framework (概念框架)，并沿用了一些强化学习领域的标准定义。动态规划 (Dynamic Planning): 指智能体在序贯决策任务中，根据当前状态和上下文，灵活地决定在每个时间步是否要分配额外的测试时计算资源 (test-time compute) 来生成或更新其行动计划。这与“总是规划”（如 ReAct）或“从不规划”的固定策略形成对比。概念性策略分解 (Conceptual Policies Decomposition)决策策略 (ϕθ。
2025-09-07 08:45:00
1414
原创 中科院发布Re⁴科学计算智能体框架：可执行重写-解决-审查-修订！
中科院发布Re⁴科学计算智能体框架，通过"重写-解决-审查-修订"四步流程，利用多个LLM协同工作提升代码生成质量。该框架包含顾问（重写问题描述）、程序员（生成执行代码）和审查员（评估反馈）三个模块，形成闭环优化机制。实验表明，在多类科学计算任务中，该框架显著提高了代码执行成功率和计算精度，如PDE求解成功率提升23-28%，病态问题求解成功率最高提升57%。该研究为科学计算自动化提供了可靠的新范式。
2025-09-06 21:09:27
990
原创 VerlTool：智能体强化学习与工具使用新框架！
带可验证奖励的强化学习 (Reinforcement Learning with Verifiable Rewards, RLVR)：一种优化语言模型的范式，通过一个预定义的、可验证的奖励函数RϕxyRϕxy对模型单轮生成的答案yyy进行评估和优化。带工具使用的智能体强化学习 (Agentic Reinforcement Learning with Tool use, ARLT)：本文对现有范式进行的扩展。在 ARLT 中，智能体与环境的交互是多轮次的，轨迹表示为τa0o0。
2025-09-06 08:45:00
1356
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人