解密prompt系列50. RL用于优化Agent行为路径的一些思路

RL优化Agent行为路径的两种方案
最新推荐文章于 2025-12-02 04:10:41 发布
原创 最新推荐文章于 2025-12-02 04:10:41 发布 · 928 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#prompt #人工智能

OpenAI新推出的Deep Research功能，属实有些惊艳，也验证了去年的一些观点，之后的大模型工作流会呈现一些截然不同的形态，有敏捷型的例如语音端到端的及时对话，也会有异步长流程的复杂任务，去做例如课题研究，信息收集,实验设计，假设验证等等。

而Deep Research的效果类似O1的长思考是非常长的行为链，OpenAI也直接表明Deep Research是使用和O1相同的RL训练得到的。但这里比O1更难的就是数据集的设计，训练过程动态行为数据的引入和RL目标的选择。

这一章我们分别介绍从两个不同角度使用RL优化Agent行为链路的方案，其中PaSa更类似Deep Research的链式行为链使用RL直接优化行为路径，而ARMAP则是使用RL优化Verifier指导行为链的生成。

Bytedance-PaSa

PaSa是字节推出的自动搜索相关论文（引用论文）的Agent，通过RL优化Policy模型，优化论文搜索和论文筛选行为，实现更全面，精准的论文搜索，充分考虑到论文搜索场景的长尾性，query的复杂性，以及论文引用的关联性等特点。

其实论文引用收集这个目标也可以用于综述类论文写作任务，因为写作类的开放任务很难使用基于规则的RL目标进行优化，但是如果假设模型的写作能力已经足够应对常见的任意写作任务，那是否收集足够的论据和论文就是综述类论文写作的一个间接衡量目标了。

数据集

对于智能体的行为优化，比较核心的部分就是数据集的构建，毕竟O1可以依赖更多有标准答案的Math和Coding数据集，而Agent优化需要依赖和现实世界交互获得的实时数据。这里论文开源了

  • AutoScholarQuery训练数据：训练验证测试的划分分别为33511/1000/1000
  • RealScholarQuery Benchmark： 包含50个标注的高质量

数据格式如下，包含用户的搜索query，搜索时间，以及和Query相关的论文标题列表

image

其中AutoScholarQuery的构建方式是搜集了2023,2024年的ICLR，ICML，N二UIPS，ACL，CVPR的论文，每篇论文都会使用Related work部分的内容，使用以下Prompt让GPT4-o生成研究员可能使用哪些Query来收集这些相关论文。这样Query和Related Work部分的论文就构成了以上的样本，时间用了比较宽松的论文发布时间。作者人工抽检了100条样本，整体query和论文的相似度在90%+。

最低0.47元/天 解锁文章
jike007gt
关注
《大模型AIGC》系列专栏大纲
09-05 4078
本文系统介绍了大语言模型(LLM)及其相关技术的系列文章。第一章从LLM基础概念入手，涵盖文本向量化、ChatGPT应用、模型架构等基础知识，并针对Qwen3模型进行了6篇技术报告的深度解读。第二章聚焦RAG(检索增强生成)与Agent技术，包括RAG架构实践、知识图谱应用和多篇行业案例解析，同时包含17篇Dify框架核心源码的模块化解读。文章内容涵盖从基础理论到行业应用的全方位技术解析，为开发者提供了大语言模型技术落地的完整知识体系。
提示工程架构师必答：Agent交互提示链设计的关键问题是什么？
小程序开发
09-15 1037
限界上下文是DDD中的核心概念，它定义了一个领域的边界（比如“简历筛选”是一个限界上下文，“面试问题生成”是另一个）。每个限界上下文对应一个Agent（或一组Agent）。限界上下文负责的任务输入输出简历筛选从简历中提取关键信息（如学历、工作经验、技能）候选人简历（PDF/Word）结构化简历数据（JSON，包含educationexperienceskills等字段）面试问题生成根据简历信息生成针对性的面试问题（如“请谈谈你在Python项目中的经验”）结构化简历数据。
Awesome-Agent-RL：强化学习驱动下的Agent潜能释放
gitblog_00192的博客
04-09 906
Awesome-Agent-RL：强化学习驱动下的Agent潜能释放 项目介绍 在人工智能领域，强化学习（Reinforcement Learning，简称RL）被广泛应用于开发智能体（Agent）以实现复杂任务。Awesome-Agent-RL 是一个精心策划的开源项目，旨在通过收集和整理一系列关于使用强化学习解锁Agent潜能的论文和资源，为研究人员和开发者提供宝贵的参考资料。 项目技术分析 ...
李飞飞携手7所顶尖机构发布智能体重大成果，DeepSeek前成员竟成论文一作？
m0_63171455的博客
05-16 894
本文介绍了由00后王子涵主导的研究，提出了一种名为StarPO的通用框架，用于训练大语言模型（LLMs）作为交互式智能体。该框架通过轨迹级优化强化推理，解决了多轮智能体强化学习（RL）训练中的不稳定性和奖励信号复杂性问题。研究还开发了RAGEN系统，支持结构化滚动训练和可定制奖励函数，为分析多轮随机环境下LLMs智能体训练动态提供了研究基础设施。实验结果表明，StarPO通过轨迹过滤、评论家机制和分离裁剪技术，有效解决了智能体RL训练中的“回声陷阱”问题，并揭示了任务多样性、交互粒度和滚动频率对学习动态和泛
AI Agent进化：RL到大模型，绝了！
AI前沿技术的分享！
03-18 879
Agent 驱动力变革：从 RL 到 LLM
收藏必备！探索Agent+RL在大模型中的创新应用与实战项目
weixin_59191169的博客
10-25 821
本文系统分析了15个高质量Agent+RL项目，展示了强化学习如何增强大型语言模型的推理、搜索和交互能力。这些项目通过创新的RL框架优化了LLM在搜索优化、工具调用、多轮交互和深度研究等复杂任务中的表现。未来，随着RL算法与LLM的进一步融合，特别是在真实环境中的端到端训练和细粒度奖励设计的推动下，LLM智能体的能力有望进一步提升，为知识密集型任务和动态交互提供更强大的解决方案。
解密prompt系列56.Agent context Engineering - 单智能体代码剖析
weixin_31829293的博客
07-17 62
然后就是基于多个query的并行搜索模块这里直接使用了Langgraph自带的Send多线程并发模式，然后直接让大模型基于检索上文进行总结。这里可参考不多，因为引用生成等逻辑在Gemini的API中，用开源模型的盆友需要重新适配。不过有意思的是现在如何给模型推理插入引用，原来多数都是在指令中加入要求，让模型一边推理一边生成引用序号，不过在新的模型能力下有了很多天马星空的方案。像Claude给出过先直接进行无引用推理，然后再让模型重新基于推理结果，在不修改原文的基础上，插入引用的markdown链接。
多Agent协作中的提示链设计：提示工程架构师的实战指南
SuperAGI2025
09-06 797
Agent：基于LLM的智能体，具备“感知（接收提示）-决策（生成输出）-行动（调用工具/传递信息）”能力；提示链（Prompt Chain）：一组有序、关联的提示，用于引导Agent完成“任务分解→子任务处理→结果整合”的全流程；协作机制：Agent间的交互规则（如分工、协商、信息共享），提示链是其“语言实现”；上下文（Context）：Agent交互过程中的中间信息（如子任务结果、历史对话），是提示链的“记忆载体”。多Agent协作是未来人工智能的核心范式，而提示链是其**“协作语言”**。
解密AIGC多智能体系统的动态优先级调度机制
AI 领航者的博客
04-21 804
AIGC多智能体系统通过协同多个专业化智能体（如文本生成、图像生成、视频合成、审核校验等），实现复杂内容的高效生成。任务动态性：用户需求实时变化（如突发高优先级请求），任务依赖关系随生成过程动态调整；资源异构性：不同智能体依赖GPU/CPU/内存等资源的差异（如图像生成需高显存，文本生成需大内存）；质量-效率权衡：高优先级任务需优先分配资源，但低优先级任务可能因长期等待导致"饥饿"。本文聚焦动态优先级调度机制。
强化学习笔记3：RL agent的主要组成部分
qq_40206371的博客
07-30 4834
对于一个强化学习 agent，它可能有一个或多个如下的组成成分： 策略函数(policy function)，agent 会用这个函数来选取下一步的动作。 价值函数(value function)，我们用价值函数来对当前状态进行估价，它就是说你进入现在这个状态，可以对你后面的收益带来多大的影响。当这个价值函数大的时候，说明你进入这个状态越有利。 模型(model)，模型表示了 agent 对这个环境的状态进行了理解，它决定了这个世界是如何进行的。 1 policy Polic
AI编程到底有没有护城河？RL+Agent重塑代码世界！
m0_59235699的博客
06-05 839
今天，cursor更新了1.0版本，作为一个cursor重度使用用户 & 算法出身玩家，今天给家人们分享一下AI编程这个赛道的一些技术内幕。
从字节、百川、Bespoke Labs 3个大模型项目，看RL驱动下的Agent技术趋势
m0_59235245的博客
05-01 777
这三篇论文思路一致，内化工具调用，用最简单的奖励信号（只看最终结果对错）来驱动强化学习，让模型自己决定什么时候调用工具、调用哪个工具，以及怎样用工具返回的信息。这种方法不依赖于人工示范或精细的中间步骤奖励，反而更有效地避免了模型reward hacking的现象出现。Less is More for Reward Design，是目前的reward一大趋势，这样训练比较容易训练稳定，不容易被hack。但是单一的结果reward会变得太稀疏、太延迟，训练效率低，这也是目前的一些问题。
修改 lm-evaluation-harness 任务 yaml 的 prompt
最新发布
这个博客太懒了什么都没说
12-02 174
修改 lm-evaluation-harness 任务 yaml 的 prompt，以gsm8k_cot_zeroshot.yaml 为例说明。如果使用的是 LM Evaluation Harness（lm_eval），文件一般在： 可以直接在终端找到实际路径： 输出类似： 那么 gsm8k 的配置就在： 📌 你要找的内容就在这个文件里 打开： 会看到类似： 而想修改 prompt 是： ⚠️ 注意：不要直接修改 site-packages 的文件！ 未来更新/重装会被覆盖。官方推荐两种方式：创建目录
Prompt工程的艺术与科学：从“对话“到“编程“，掌握与大模型高效协作的元技能
技术传感器的博客
11-29 1193
摘要：Prompt工程通过结构化指令和思维链技术，使通用大模型在专业任务上接近微调模型效果，成本仅为1/10。文章系统阐述了Prompt工程的三个层次（基础对话、结构化指令、程序化交互），提供了可复用的模板库，并强调应像管理代码一样进行版本控制。研究显示，优化Prompt可使任务准确率提升20-30%，成本降低36%，建议企业建立Prompt管理系统，在简单任务场景优先采用Prompt工程而非模型微调。（149字）
Prompt Engineering 基础技巧完全指南
weixin_44984196的博客
12-01 754
万能模板你是一位[专业角色]。请完成以下任务：[具体任务]。要求：1. [要求1]2. [要求2]3. [要求3]工作步骤：1. [步骤1]2. [步骤2]请以[格式]返回结果。[上下文/输入内容]
（ 教学 ）Agent 构建 Prompt（提示词）1. PydanticOutputParser
Cheer_RIO的博客
11-30 339
本文介绍了如何使用PydanticOutputParser将语言模型输出转换为结构化数据。文章包含两个主要部分： 基础使用：展示如何用StrOutputParser提取邮件关键内容，获得文本摘要。 高级使用：通过定义Pydantic数据模型(EmailSummary类)，使用PydanticOutputParser将邮件内容解析为结构化JSON格式。重点说明了字段描述的重要性、数据验证以及两个核心方法： get_format_instructions()：提供输出格式说明 parse()：将文本转换为结构化
学习教学AI指南，附4个提示词指令（Prompts）
AI360labs_atyun的博客
12-01 358
这份指南不仅分享了全球教育者使用 ChatGPT 的真实案例，还直接给出了可以直接复制粘贴的提示词（Prompts）！6. 最后，根据以上信息，为我制定一份定制化的课程计划，通过多种教学技巧来达成目标。1. 这种对话的目的是让作为老师的用户（我）来评估你的理解程度。针对不同理解能力的学生，快速生成简化的解释，类比或具体的例子。1. 首先，请自我介绍，并询问老师想教什么主题以及学生的年级。“你是一位乐观、鼓励性的导师，通过解释和提问帮助学生理解概念。3. 接着，询问学生对该主题是否已有了解，还是全新的内容。
LLM Agent Attack- Indirect Prompt Injection
m0_52739647的博客
11-30 698
LLM Agent安全威胁：间接提示注入攻击 摘要：LLM代理面临严重的间接提示注入(IPI)安全威胁，攻击者通过外部数据(如邮件、网页)嵌入恶意指令欺骗模型执行非法操作。研究表明，当前主流防御措施在适应性攻击面前效果有限。IPI攻击可分为两类：攻击载荷嵌入工具返回数据(如AgentDojo、InjecAgent)或工具描述中(如Mcptox)。评测显示，性能越强的模型越易受攻击，不同攻击提示效果差异显著。最新防御方案如AgentVigil采用自动化模糊测试，而适应性攻击则利用GCG等技术突破现有防护。随着
SQLPrompt 7.3.0.681发布：优化SQL开发体验
最后，提到的压缩包文件名称列表中包括了SQLPrompt_7.3.0.681.exe和SQL.Prompt.Keygen.exe。前者是SQLPrompt 7.3.0.681版本的安装程序，后者可能是指一个破解生成器，用于生成或破解SQLPrompt的注册码。需要注意的是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值