部分大模型Agent论文，给大家整理好了

智泊AI官方

墨衍会员 · AI 创作全网分发码龄6年

关注

原创最新推荐文章于 2026-08-27 23:55:37 发布 1.4k 阅读 AI 写同款· GEO 优化 ›

论文标题：
ML-Agent: Reinforcing LLM Agents for Autonomous Machine Learning Engineering

源码链接：
https://github.com/zeroxleo/ML-Agent

核心问题：
现有基于大语言模型（LLM）的智能体在自动化机器学习（ML）工程中多依赖手动设计的prompt，缺乏通过经验自动学习和优化的能力，导致探索不足、效率低下和奖励设计复杂，限制了智能体的持续改进和跨任务泛化能力。

传统方法：

依赖手动prompt工程指导LLM智能体完成ML任务
传统自动化ML多使用固定搜索空间下的超参数调优和管道构建
现有智能体往往策略静态，无法从执行轨迹中学习提升
RL用于LLM训练多聚焦偏好调整和推理任务，缺乏在自动ML领域的应用

创新思路：

提出基于在线强化学习（RL）的学习型agentic ML范式，使LLM智能体能根据环境反馈主动探索和持续训练
设计探索增强微调方法，利用快速执行的多样ML任务生成丰富动作池，提高探索多样性
采用逐步RL训练范式，将执行轨迹拆分为单步动作，显著提升训练效率
构建Agentic ML特定奖励模块，统一处理多样运行反馈（如任务指标、错误信息），实现精准RL优化

创新结果：

使用7B参数的Qwen-2.5 LLM训练出的ML-Agent，在仅9个ML任务上训练，性能超越了671B参数规模的DeepSeek-R1智能体
ML-Agent展现出强大的跨任务泛化能力，能在更多未知任务上持续改进表现
训练框架提高了探索效率和训练速度，支持多样化动作策略和稳定的性能提升

不足之处：

训练任务数量较少，限制了智能体在更大范围内的泛化能力验证
实验和理论主要集中在训练框架设计，缺少更丰富的定量比较和实际应用案例实验
目前训练过程依赖有限的快速执行任务，实际复杂任务仍存在效率瓶颈

未来预期：

扩展更多种类和规模的ML任务，提升智能体的泛化和自动化能力
深化奖励机制设计，进一步融合更多复杂环境反馈以提升稳定性和鲁棒性
探索更高效的训练方法和架构优化，缩短训练时间，适应实际工程需求
推动智能体在自动机器学习工程中的实际部署与商业化应用，带来更大生产效率提升

1. 论文标题
《Don't Take the Premise for Granted: Evaluating the Premise Critique Ability of Large Language Models》

2. 核心问题
大型语言模型（LLMs）在面对有缺陷或矛盾的前提时，往往不加批判地接受，导致推理效率低下和输出不可靠。现有研究主要关注在正确前提下的推理能力，忽略了模型主动识别和清晰表达输入前提错误的能力（即Premise Critique Ability），这限制了模型作为可信赖的“批判性合作者”的潜力。

3. 传统方法

基于正确前提的推理评估
：现有研究（如Parmar et al., 2024）主要在理想条件下测试LLMs的推理能力，忽视有缺陷前提的场景。
虚假前提检测
：部分研究（如Qin et al., 2025）关注事实性错误，但未深入探讨逻辑矛盾或复杂错误类型。
鲁棒性测试
：传统方法（如Zhu et al., 2023）聚焦输入扰动（如词汇、语法变化）对模型性能的影响，忽略模型主动批判前提的能力。
被动响应模式
：现有LLMs多为被动信息提供者，缺乏对输入前提的主动验证和错误反馈机制。

4. 创新思路

提出Premise Critique Ability
：定义模型主动检测和清晰表达输入前提错误的能力，强调从被动响应者到主动评估者的转变。
构建PCBench基准
：设计包含四种错误类型（Contradictory Premise Insertion、Contradictory Inference Insertion、Flawed Solution Completion、Irrelevant Query Distraction）和三个难度级别（Normal、Medium、Difficult）的综合数据集，共3600个问题。
多维度评估框架
：引入四种评估指标（Proactive Premise Critique Rate、Assisted Premise Critique Rate、Proactive Premise Critique Cost Ratio、Assisted Premise Critique Cost Ratio），全面衡量模型的前提批判能力及响应冗长度。
系统性实验设计
：通过对比原始问题、有缺陷问题和带明确指令的缺陷问题，评估模型的自主批判能力与提示依赖性。

5. 创新结果

有限的自主批判能力
：15个代表性LLMs的Proactive Premise Critique Rate（PPCR）普遍较低（如GPT-4o仅11.0%，DeepSeek-V3为40.5%），表明模型需明确提示才能有效检测错误。
错误类型与难度影响
：模型在简单矛盾（如Contradictory Premise Insertion）上表现较好（PPCR最高超55%），但在复杂错误（如Flawed Solution Completion）上表现较差；PPCR随问题难度增加而下降（如DeepSeek-V3从Normal的48%降至Hard的29%）。
推理能力与批判能力不一致
：部分推理模型（如o4-mini，PPCR仅4.0%）虽能内部检测矛盾，但无法明确表达，暴露出外部表达的不足。
缺陷前提导致过度思考
：有缺陷前提显著增加模型响应长度，推理模型（如o3-mini，PPCCR达3.90）在处理缺陷问题时生成更冗长的输出。
规模化趋势
：Qwen3系列显示模型规模增大（如8B到235B）时，APCR显著提升（59.9%到70.0%），但PPCR增幅有限，表明规模化对自主批判能力的提升有限。

6. 不足之处

模型覆盖有限
：仅评估15个代表性LLMs，新兴或未测试模型的泛化性未知。
语言限制
：数据集仅覆盖英语和中文，未考虑其他语言的逻辑结构和文化差异。
领域局限
：PCBench聚焦数学推理，未涵盖其他自然科学或多模态场景的推理模式。
错误类型有限
：虽然设计了四种错误类型，但可能未完全覆盖现实中复杂前提错误的多样性。

7. 未来预期

扩展模型测试
：评估更多新兴LLMs，验证前提批判能力的普遍性。
多语言与多模态扩展
：构建涵盖更多语言和模态（如图像、视频）的PCBench，探索语言和文化对批判能力的影响。
跨领域应用
：将前提批判能力评估扩展到其他自然科学、法律或医疗等领域，提升模型在多样化场景中的可靠性。
改进训练目标
：在训练中加入明确的前提批判目标或设计包含缺陷前提的数据集，增强模型将内部错误检测转化为外部表达的能力。
优化效率
：减少缺陷前提引发的过度思考，优化响应长度，提高计算效率和实用性。

论文标题：
TOOLHAYSTACK: Stress-Testing Tool-Augmented Language Models in Realistic Long-Term Interactions

源码链接：
https://github.com/bwookwak/ToolHaystack

核心问题：
当前大语言模型（LLMs）扩展为具备外部工具调用能力（Tool-Augmented Language Models, TALMs）进行任务执行，尽管在短期、多轮对话中的表现优异，但缺乏针对现实、长期交互环境下工具调用鲁棒性的评估，尤其面对上下文断片、语义噪声和目标演变时模型易失败，影响实际应用的可靠性与持续性。

传统方法：

现有工具调用能力的评测多集中在单次或几轮短期交互，且任务结构单一且干净，缺乏对上下文长时间累积噪声的考察。
诸如ToolDial、HammerBench等基准覆盖多轮对话，但时间跨度有限，难以模拟目标变化与上下文缺失情况。
评测多聚焦工具调用精准率，忽视复杂上下文和真实噪声对模型表现的影响。

创新思路：

首次明确提出大规模评测长期互动中TALM鲁棒性的重要性，结合现实中任务交织、上下文信息碎片化、语义噪声累积及用户目标动态改变的场景。
设计TOOLHAYSTACK基准，结构上引入“干草堆”和“针”互相穿插的测试对话，模拟干扰信息，按难度调控噪声及任务复杂度。
映射3类关键场景（上下文召回、信息转移、上下文缺失）及其细分难度，真实再现任务多样变化和情境不确定性。
系统性测试14款最新开源及专有LLM模型，揭示其在长交互环境下的失败模式和性能瓶颈。

创新结果：

发现当前最先进LLM即使具备长上下文建模能力，普遍在TOOLHAYSTACK的长交互环境中表现不佳，常因噪声累积、信息断裂或目标变化失误而导致任务失败。
明确现有评测框架大幅高估了模型工具调用的可靠性和长期能力。
提供关于模型在长期任务稳定执行过程中所需重点改进模块和能力的深入理解和指引。

不足之处：

数据集构建依赖自动化生成结合有限人工校验，部分对话和任务设计可能不足以涵盖所有真实长交互复杂情况。
当前基准虽模拟多样干扰和复杂度，但尚未结合极端多模态信息与多智能体协作场景。
实验中对模型具体改进方向和方法提出不多，更多为揭露问题和提供诊断工具。

未来预期：

拓展TOOLHAYSTACK，增加多模态、多智能体及更加丰富的互动场景，提升真实感和挑战度。
基于基准反馈推动TALM模型在长期历史信息记忆、动态目标适应及鲁棒工具调用方面的算法创新。
结合线上持续评测机制，促进模型在实际环境下的稳健部署和商业化应用。
提倡开发能更好识别环境不确定性与上下文缺失的智能体，提升用户体验和服务质量。

1. 论文标题

《Generalized Category Discovery in Event-Centric Contexts: Latent Pattern Mining with LLMs》

2. 核心问题

广义类别发现（GCD）旨在使用部分标注数据（仅包含已知类别）对已知和新型类别进行分类，但在事件中心情境（EC-GCD）中，面对长而复杂的叙述和高不平衡的类别分布，现有方法表现不佳。主要挑战包括：（1）由于主观的人为定义标准，聚类与分类的分组结果不一致；（2）在不平衡数据集中，少数类别的对齐不公平。

3. 传统方法

标准GCD方法
：通常采用三阶段流程，包括混合监督与无监督数据的预训练、无监督数据的自监督学习和聚类（如K-Means）[4, 5, 7]。这些方法依赖表面线索，不足以应对复杂的EC-GCD叙述。
软伪标签和原型
：Wen等人[18]和Bai等人[19]使用软伪标签和参数化原型来减少对已知类别的偏见，但仍受噪声伪标签的困扰。
大型语言模型整合
：近期工作（如An等人[6, 7]）利用大型语言模型（LLMs）评估样本关系或优化伪标签，但未能解决主观分类边界和少数类别对齐问题。

4. 创新思路

PaMa框架
：提出模式挖掘与调整（PaMa）框架，利用大型语言模型提取和优化事件模式，改善聚类与分类的对齐。
排名-过滤-挖掘流水线
：通过聚类大小和紧致度对聚类进行排名，优先识别主导模式，过滤样本以减少噪声，并生成类别特定的模式以改善对齐，尤其针对少数类别。
模式优化
：利用正向（真阳性）和负向（假阳性）信号优化模式，以对齐人为定义的分类标准。
伪标签重新分配
：基于不确定性和稳定性指标识别低置信度样本，根据优化后的模式重新分配伪标签以减少噪声。
新基准数据集
：引入Scam Report数据集，一个众包的EC-GCD基准，用于评估复杂现实场景，如诈骗检测。

5. 创新结果

优越性能
：PaMa在两个EC-GCD数据集（Scam Report和电信诈骗案例）上超越基线方法，H分数提升高达12.8%，在三个标准GCD基准（BANKING、StackOverflow、CLINC）上也表现出竞争力。
改善少数类别处理
：排名-过滤-挖掘流水线增强了少数类和新型类别的对齐，确保更好的聚类分离。
有效模式优化
：优化过程减少了因主观标准导致的错位，例如将“虚假充值诈骗”优化为专注于电话充值诈骗。
泛化能力
：PaMa在不同数据集上保持了已知类别和新型类别识别的良好平衡。

6. 不足之处

仅限文本领域
：PaMa仅在文本领域运行，限制了其在视觉或多模态场景中的应用。
计算开销
：依赖大型语言模型导致显著的计算成本，可能限制在低资源场景中的可扩展性。
新型类别挑战
：由于主观的人为定义边界，学习新型类别的精确标准仍具挑战性。
数据集范围
：Scam Report数据集仅限于特定诈骗类型，评估聚焦于中文和英文数据集，可能忽略更广泛的语言或文化背景。

7. 未来预期

多模态扩展
：整合多模态基础模型，将PaMa扩展到视觉和其他数据类型。
效率优化
：减少计算开销，提高低资源环境的扩展性。
自适应标准学习
：开发动态推断与人类对齐的新型类别标准的机制。
更广泛的数据集范围
：扩展基准数据集，涵盖多样化的语言、文化和领域（如法律、医疗），以提升泛化能力。
社会影响
：进一步发展诈骗检测应用，支持消费者保护和针对金融犯罪的政策干预，同时解决恶意行为者滥用的风险。

1. 论文标题

《WorkForceAgent-R1- Incentivizing Reasoning Capability in LLM-based Web Agents via Reinforcement Learning》

《WorkForceAgent-R1：通过强化学习激励基于大型语言模型的Web代理推理能力》

2. 核心问题

基于大型语言模型（LLM）的Web代理在处理动态和交互性强的网络环境中时，由于推理能力不足，难以有效执行复杂任务，如多步规划、跨多轮交互的记忆保持和动态适应环境反馈。传统监督微调（SFT）方法在优化交互性和动态性方面表现不足，容易导致“伪推理”，即仅模仿表面动作模式而缺乏深层推理机制。

3. 传统方法

监督微调（SFT）
：早期方法依赖SFT和模仿学习（Lai等人，2024；Pan等人，2024a），通过标注数据优化代理，但难以应对复杂的多步Web交互。
强化学习（RL）尝试
：如WenRL（Qi等人，2025）和OpenWebNavigator（He等人，2024b）采用课程驱动或迭代反馈的RL框架，改善了动态导航任务的表现，但仍聚焦于优化单一动作，忽视Web交互的复杂性和交互性，依赖昂贵的专有模型或大量人工标注。
现有挑战
：传统方法在处理动态生成的网页内容、复杂的DOM结构和多轮交互时，难以实现可靠的预测和规划，且计算成本高，效率低。

4. 创新思路

WorkForceAgent-R1框架
：提出基于规则的强化学习（RL）框架，通过渐进式奖励函数增强LLM代理的推理和规划能力，专注于职场Web导航任务。
渐进式奖励函数
：评估动作正确性和结构化输出格式，激励代理在无需显式推理过程的情况下发展稳健推理能力。
数据标准化
：利用BrowserGym和Playwright生成高质量的真实导航轨迹，剔除无效动作或失败结果，确保训练数据质量。
GRPO算法
：采用分组相对优化的强化学习策略（GRPO），相较于传统PPO算法，收敛更快且奖励更高。
初始模型预热
：通过在1,000个训练样本上进行SFT预热，优化初始模型状态，提升后续RL训练效果。

5. 创新结果

显著性能提升
：在WorkArena基准测试中，WorkForceAgent-R1比SFT基线平均提升29.13%，14B参数版本甚至超越最先进的专有模型GPT-4o达4.96%。
任务平衡性
：相较于SFT在不同任务（如列表过滤和服务目录）上表现不均，WorkForceAgent-R1通过RL的泛化能力实现更均衡的性能分布。
大模型优势
：14B参数模型展现出更强的推理能力，训练过程中奖励和验证准确率持续稳定提升，表明更长的推理链有助于性能提升。
奖励设计有效性
：稀疏奖励设计避免了密集奖励导致的“奖励黑客”行为（如重复生成常见动作），确保代理专注于任务相关的推理。

6. 不足之处

局限性职场场景
：WorkForceAgent-R1主要针对职场Web导航任务，通用性可能受限，难以直接扩展到其他复杂Web场景。
计算成本高
：依赖大型语言模型和强化学习导致较高的计算需求，可能限制在低资源环境中的应用。
数据依赖性
：训练依赖高质量的真实导航轨迹，数据生成和标准化过程可能在某些场景下难以实施。
动态环境挑战
：尽管改进了动态适应能力，但面对高度动态或非标准化的Web界面仍可能面临推理和规划的挑战。

7. 未来预期

扩展通用性
：优化框架以适应更广泛的Web场景，如电子商务或社交媒体导航任务。
降低计算成本
：探索轻量化模型或高效RL算法，减少对高性能计算资源的依赖。
多模态支持
：结合视觉或其他模态输入，提升代理在多模态Web环境中的表现。
动态适应性增强
：开发更强的动态推理机制，以应对快速变化的Web界面和非标准DOM结构。
开源与实际应用
：推动框架的开源化，结合实际企业需求（如自动化客户服务）进一步验证和部署，增强实用性。

1. 论文标题

《From Chat Logs to Collective Insights: Aggregative Question Answering》
《从聊天记录到集体洞察：聚合性问题回答》

2. 核心问题

基于大型语言模型（LLM）的传统问答系统难以从海量用户-AI交互数据中提取集体洞察，例如识别用户关注的区域差异或社会态度的时序变化。现有方法（如传统摘要）通常局限于单一或少量文档的静态信息提取，缺乏对动态、上下文相关的聚合性查询的处理能力，导致无法有效应对复杂、多维的交互数据分析需求。

3. 传统方法

文本到SQL（Text-to-SQL）：通过将自然语言问题转换为结构化数据库查询（如WIKISQL、Spider、BIRD等基准）实现聚合性问答，但依赖预定义的数据库结构，难以处理非结构化的对话数据（Zhong et al., 2017; Lei et al., 2024）。
摘要生成：传统单文档（如CNN/Daily Mail）或多文档摘要（如MultiNews、QMSum）方法专注于信息压缩，缺乏动态查询能力，无法针对特定聚合性问题生成上下文相关的答案（See et al., 2017; Zhong et al., 2021）。
长上下文建模：部分研究尝试通过长上下文建模或检索增强生成（RAG）处理复杂交互数据，但性能受限于模型对长序列的处理能力和上下文无关的检索效率（Liang et al., 2024; Zhao et al., 2024a）。
现有挑战：传统方法在处理大规模、异构、多语言的对话数据时，难以实现高效的语义聚类、动态查询和精准的集体洞察提取，且对噪声数据和模型幻觉较为敏感。

4. 创新思路

聚合性问题回答（AQA）任务：提出一种新任务，基于大规模用户-AI交互数据，生成动态、上下文相关的答案，解决如趋势识别、群体偏好分析等问题。
WildChat-AQA数据集：构建包含多样化、多语言对话的WildChat-AQA数据集，通过预处理（去重、过滤）、关键词分类和问题生成等步骤，确保数据质量和查询多样性。
PROBE检索方法：提出多查询检索增强方法（PROBE），通过生成多个相关查询和过滤条件，结合LLM推理和语义聚类（KMeans+FAISS），提升检索精度和上下文相关性。
主题分类与标签分配：使用改进的TrT-LLLM算法，通过初始嵌入、KMeans聚类和手动冲突消解，生成清晰、互斥的主题分类体系，确保分类无歧义。
多语言支持与可视化：支持多语言数据集的自然语言查询转换，并提供交互式界面，展示对话元数据、关键词分布和支持性对话片段，增强洞察的可解释性。

5. 创新结果

数据集质量：WildChat-AQA数据集通过去重和过滤保留高质量对话，包含多样化的主题（如物理、化学、数学）和多语言数据，支持细粒度的聚合性查询。
检索性能提升：PROBE方法在NDCG@1指标上显著优于标准RAG，分别提升14.8至23.8个百分点，尤其在O4-mini模型上达到0.7571的最高分，Owen3-32B-think模型达到0.7956。
摘要效果优于原始数据：使用摘要输入的模型在NDCG@1上比原始对话提升4.0至14.4个百分点，表明摘要能有效压缩信息并保留关键语义。
主题分类有效性：通过TrT-LLLM和手动冲突消解，生成包含物理（1877次）、化学（1379次）等主题的分类体系，支持无歧义的对话分类。
用户界面实用性：交互式界面提供对话数量、关键词分布和元数据可视化，便于用户审计和深入分析。

6. 不足之处

模型幻觉与噪声：依赖LLM（如GPT-4.1）进行主题标签分配和问题生成，可能因模型幻觉或数据噪声导致分类错误或不一致。
生成问题的人为感：由GPT-4.1生成的自然语言问题可能显得模板化，缺乏真实场景中的自然性和多样性。
计算资源需求：PROBE和TrT-LLLM依赖大规模语义嵌入和聚类，计算成本较高，限制了低资源环境中的应用。
多语言挑战：尽管支持多语言数据，但对低资源语言的处理能力和分类精度仍需进一步验证。
数据集局限性：WildChat-AQA主要基于特定对话场景，泛化能力可能受限，难以直接应用于其他类型的数据集。

7. 未来预期

提升模型鲁棒性：优化LLM的幻觉控制和噪声处理能力，改进主题分类和问题生成的准确性。
增强问题自然性：开发更自然的查询生成方法，结合真实用户交互数据，减少模板化问题。
降低计算成本：探索轻量化嵌入模型或高效聚类算法，降低对高性能计算资源（如NVIDIA RTX A6000）的依赖。
扩展多语言支持：增加对低资源语言的处理能力，优化多语言数据集的分类和查询性能。
开源与实际应用：推动WildChat-AQA数据集和PROBE方法的开源化，结合实际应用场景（如社交媒体分析、客户服务优化）进行验证和部署。

1. 论文标题

《Towards Agentic RAG with Deep Reasoning: A Survey of RAG-Reasoning Systems in LLMs》
《迈向智能体RAG与深度推理：大型语言模型中RAG推理系统的综述》

2. 核心问题

传统检索增强生成（RAG）方法在复杂推理任务中难以捕捉深层上下文和复杂关系，导致幻觉问题和响应准确性不足。现有系统缺乏检索与推理的动态交互，难以应对多跳推理、领域特定任务和多模态内容的需求，无法实现自主、上下文感知的深度推理。

3. 传统方法

传统RAG流程：包括检索、整合和生成三个阶段，依赖静态检索和简单上下文拼接，难以处理复杂推理任务（Fan et al., 2023a; Gao et al., 2023b）。
单一推理方法：如链式推理（Chain-of-Thought, CoT），通过线性推理步骤增强LLM推理能力，但易受错误传播影响，缺乏动态信息获取（Brown et al., 2022）。
局限性：传统方法在处理多跳推理、多模态数据或动态知识需求时，检索效率低，易引入无关信息，且对噪声和冲突信息的鲁棒性不足。

4. 创新思路

推理增强RAG：通过在检索、整合和生成阶段融入推理能力，优化查询重构（query reformulation）、检索策略规划和模型增强，提升信息相关性和推理准确性。
RAG增强推理：利用检索知识填补推理过程中的事实空白，支持多跳问答、数学推理和代码生成等任务（Xu et al., 2024; Tang and Yang, 2024）。
协同RAG-推理系统：提出单智能体和多智能体架构，通过迭代检索和推理的动态交互，实现自主问题分解、证据收集和信息综合（Zhang et al., 2025c）。
多模态检索：扩展RAG系统以处理图像、表格和文本等多模态内容，支持跨模态推理（Wang et al., 2024）。
推理工作流：提出链式（Chain-based）、树式（Tree-based）和图式（Graph-based）推理工作流，结合蒙特卡洛树搜索（MCTS）和知识图谱，提升复杂任务的推理能力（Hu et al., 2025; Sun et al., 2019）。

5. 创新结果

检索优化：推理感知的查询重构（如PAR-RAG）通过多步规划提升召回率，NDCG指标显著优于传统RAG（Zhang et al., 2025d）。
整合增强：SEER和CRP-RAG通过相关性评估和推理图，动态筛选和组织知识，减少无关信息干扰（Zhao et al., 2024c; Xu et al., 2024）。
生成改进：上下文感知生成（如Open-RAG）通过动态事实检索，显著提升事实准确性和逻辑一致性（Islam et al., 2024）。
多模态支持：多模态RAG系统在WebShop等基准上展现跨模态推理能力，适用于真实场景（Yao et al., 2022）。
基准测试：涵盖TriviaQA、HotspotQA、MATH等多样化任务的基准，验证了RAG-推理系统在多跳问答、数学和代码生成中的有效性（Joshi et al., 2017; Hendrycks et al., 2021）。

6. 不足之处

覆盖广度优先：综述涵盖200多篇论文，但对特定方法（如稀疏 vs. 密集检索、符号推理）的技术细节探讨不足。
分类抽象：推理增强RAG、RAG增强推理和协同系统的分类框架虽便于理解，但可能掩盖具体方法的权衡和局限性。
多模态局限：现有系统多局限于文本任务，多模态检索和推理能力仍需加强，尤其在非视觉-文本场景中。
鲁棒性挑战：检索内容易受噪声、冲突信息或对抗攻击影响，缺乏统一的信任度评估框架（Huang et al., 2024）。
基准局限：现有基准主要评估演绎推理，缺乏对因果推理、反事实推理或领域特定类比推理的系统性测试。

7. 未来预期

多模态扩展：开发统一的多模态检索器，联合嵌入图像、表格和文本，支持真实世界复杂任务（Wang et al., 2025a）。
信任度增强：通过水印、数字指纹等技术，开发动态自适应的信任度验证方法，提升检索内容的可靠性（Liu et al., 2024）。
智能体能力：构建自主选择工具和检索策略的智能体框架，支持动态规划和上下文感知的问题解决（Phan et al., 2025）。
人机交互：引入人在回路（human-in-the-loop），通过交互式界面和用户意图建模，提升系统对用户偏好和专长的适应性（Zou et al., 2025）。
基准改进：开发标准化基准，全面评估检索-推理轨迹的效率、推理步骤质量和多步推理一致性，覆盖更多复杂推理类型和垂直领域任务。

论文标题
：《A Survey of Large Language Models in Discipline-specific Research: Challenges, Methods and Opportunities》《特定学科研究中的大型语言模型综述：挑战、方法与机遇》
核心问题
：大型语言模型（LLMs）在多个学科中展现出变革性潜力，但对其在不同学科中的整合应用缺乏系统性理解。需全面梳理 LLMs 在跨学科研究中的技术方法、学科适用性、面临的挑战及未来方向，为相关研究者提供参考。
传统方法
：在各学科研究中，传统方法多依赖专家知识、手动分析或特定领域工具，存在效率低、扩展性有限等问题。例如：
- 数学领域依赖复杂推理和逻辑推演，定理证明需手动构建逻辑链；
- 化学领域分子设计依赖专家经验和计算密集型模拟；
- 生物学领域基因组分析依赖传统测序工具和人工解读；
- 人文社科领域文本分析和社会行为研究依赖手动标注和小规模数据统计。
创新思路
：从技术和适用性两个维度构建 LLMs 在特定学科中的应用框架：
- 技术角度
  ：分为内部知识优化（持续预训练 CPT、监督微调 SFT、基于人类反馈的强化学习 RLHF）和外部交互协作（提示工程、检索增强生成 RAG、基于代理的方法、工具使用整合），增强 LLMs 在学科场景中的适应性。
- 适用性角度
  ：针对数学、物理、化学、生物学、人文社科等学科，分析 LLMs 在具体任务中的应用模式，如数学定理证明、物理实验设计、化学分子生成等。
创新结果
：LLMs 在多学科中实现了具体突破，例如：
- 数学领域：DeepSeekMath 等模型通过微调提升数学推理能力，部分模型在奥数资格赛中达到顶尖水平；
- 化学领域：ChemCrow 整合工具实现化学任务自动化，Mol-Instructions 数据集推动分子建模；
- 生物学领域：ProLLaMA 等蛋白质语言模型支持多任务蛋白质分析，GenSLMs 实现基因组变异识别；
- 人文社科领域：HistoLens 框架实现历史文本多层分析，CompeteAI 模拟社会竞争行为。
- 技术层面：DeepSeek V3 以低成本（557 万美元）实现 6710 亿参数规模，在多语言处理、数学推理等领域媲美闭源模型。
不足之处
：
- 学科相关数据集质量不足，大规模高质量数据获取困难，且数据清洗成本高；
- 非 AI 专家使用 LLMs 存在技术障碍，限制跨学科普及；
- 缺乏标准化评估基准，不同学科评估框架差异大，阻碍性能对比；
- 大型 LLMs 训练和部署的计算成本高，硬件和能源消耗对研究机构构成压力。
未来预期
：
- 优化高质量学科数据的生成与整理，结合少样本学习和迁移学习提升数据利用效率；
- 开发用户友好工具和平台，降低非 AI 专家使用门槛，推动跨学科协作；
- 建立学科专属的标准化评估指标和基准数据集，促进模型性能可比；
- 通过模型剪枝、蒸馏等技术降低计算成本，提升 LLMs 在资源有限场景的可及性，推动其更深度整合到科学研究中。

论文标题
：《Shifting from Ranking to Set Selection for Retrieval Augmented Generation》《从排序到集合选择：面向检索增强生成的转变》
源码链接
：https://github.com/LGAI-Research/SetR
核心问题
：传统检索增强生成（RAG）系统的检索模块主要基于个体段落相关性进行重排序，难以满足复杂查询（如多跳问答）的需求。这些查询需要检索到的段落不仅个体相关，还需共同构成全面、多样且无冗余的信息集合，而现有方法忽视了集合层面的覆盖性和完整性，导致生成答案不完整或不准确。
传统方法
：现有 RAG 系统采用 “一阶检索 + 重排序” 模式，通过 BM25、DPR 等工具进行初始检索后，使用点式、成对或列表式重排序方法（如 bge-reranker-large、RankLlama、RankGPT 等）对段落进行个体相关性评分，最终选择 top-k 段落。这些方法仅关注个体段落的相关性，忽视集合层面的多样性、覆盖性和冗余性，难以处理多跳等复杂查询。
创新思路
：提出基于集合的段落选择方法 SETR，通过以下步骤优化检索：
- 利用思维链（CoT）推理明确识别查询的信息需求（IRI），分解查询为多个子目标；
- 针对每个子目标匹配相关段落，最终选择能共同覆盖所有需求的最优段落集合，而非对段落单独排序；
- 通过模型蒸馏将上述能力融入轻量级模型（基于 Llama-3.1-8B-Instruct），提高实用性和效率。
创新结果
：在多跳 RAG 基准（HotpotQA、2WikiMultiHopQA、MusiQue、MultiHopRAG）上的实验显示：
- 答案正确性（F1、准确率）优于专有 LLM 重排序器（如 RankGPT）和开源基线（如 bge-reranker-large）；
- 检索质量提升，精确率提高 3.8%-4.6%，信息覆盖率从 19.33% 提升至 36.49%；
- 平均使用段落数量比传统方法少 40-50%，但 token 效率更高（输入 token 减少约 50%），同时减少冗余和噪声干扰。
不足之处
：
- 依赖初始检索结果，若初始检索缺失关键信息，集合选择无法弥补；
- 仅在多跳问答场景验证，尚未在代码生成、对话 AI 等其他 RAG 领域测试；
- 性能依赖底层语言模型的推理能力，思维链推理质量可能影响选择效果。
未来预期
：
- 扩展至更大候选池（如 100 个段落），通过并行、无序选择提高可扩展性；
- 探索 SETR 与迭代检索的结合，优化查询以提升初始检索质量；
- 开发自适应选择技术，根据领域需求动态调整选择的段落数量。

论文标题
：《Mobile-R1: Towards Interactive Reinforcement Learning for VLM-Based Mobile Agent via Task-Level Rewards》《Mobile-R1：基于任务级奖励的视觉语言模型移动代理交互式强化学习研究》
源码链接
：https://mobile-r1.github.io/Mobile-R1/
核心问题
：现有基于视觉语言模型（VLM）的移动代理多依赖离线强化学习或动作级奖励的在线优化，导致其与动态移动环境的交互能力有限，易陷入局部最优，削弱探索能力和错误纠正能力，难以完成复杂多轮任务。
传统方法
：现有移动代理（如 AppAgent、Mobile-Agent 系列、UI-TARS 等）主要采用以下策略：
- 依赖离线数据训练，缺乏在线环境交互；
- 基于动作级奖励优化单步动作，仅关注当前步骤的正确性，忽视任务全局目标；
- 采用 DPO 或 GRPO 等强化学习方法，但未结合多轮轨迹的任务级反馈，难以应对动态环境变化。
创新思路
：提出 Mobile-R1 框架，通过三阶段训练实现基于任务级奖励的交互式强化学习：
- 阶段 1（格式微调）
  ：利用高质量标注轨迹（含自我纠错轨迹）训练模型，使其掌握基本动作格式和纠错逻辑；
- 阶段 2（动作级在线训练）
  ：采用 GRPO（Group Relative Policy Optimization），基于动作级奖励（动作正确性 + 格式合规性）优化单步动作精度；
- 阶段 3（任务级在线训练）
  ：基于多轮交互轨迹，采用任务级奖励（由 GPT-4o 评估轨迹连贯性和任务完成度），鼓励代理进行动态探索和长期规划，增强全局优化能力。
创新结果
：
- 性能超越基线：在包含 500 条轨迹的基准测试中，任务成功率达 49.40%，较最佳基线（Qwen2.5-VL-32B）提升 19 个百分点；单步准确率达 84.42%，动作参数错误数显著减少。
- 鲁棒性增强：在 225 条未见过的应用轨迹上，任务成功率达 51.11%，优于其他模型，展现更强泛化能力。
- 自我纠错能力：实现 “eureka move”（从错误状态自我纠正至正确轨迹），验证多轮强化学习的有效性。
- 数据支撑：构建含 28 个中文应用、4635 条轨迹（24521 步）的高质量数据集，建立新基准。
不足之处
：
- 依赖初始轨迹质量，若初始数据缺失关键信息，后续训练难以弥补；
- 仅在中文应用场景验证，未扩展至多语言或更多复杂场景（如跨应用协作）；
- 任务级强化学习与动作级的结合策略仍需优化，单一任务级奖励的效果尚未充分探索；
- 数据集规模有限，仅覆盖部分日常应用，多样性待提升。
未来预期
：
- 扩展数据集规模，纳入更多语言和应用场景，增强模型泛化性；
- 探索纯任务级强化学习策略，简化训练流程，实现端到端动态环境交互；
- 优化奖励机制，结合更细粒度的反馈（如子任务完成度）提升复杂任务处理能力；
- 提升模型效率，适配低资源设备，推动实际场景落地。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份《LLM项目+学习笔记+电子书籍+学习视频》已经整理好，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】👇👇