Agent框架标准化趋势及OpenManus-RL增强Agent规划能力训练框架

最新推荐文章于 2025-06-12 16:50:08 发布

Python_金钱豹

最新推荐文章于 2025-06-12 16:50:08 发布

阅读量872

点赞数 23

文章标签：人工智能算法机器学习大数据 embedding 深度学习

本文链接：https://blog.youkuaiyun.com/Python_cocola/article/details/146590050

版权

先说一个文档解析的怪事儿，word解析，应该老老实实解析底层xml，转pdf再解析（有很多现成的工具库了），绕了大圈，效果还不保证，例如表格，除非里面是贴的图片这个时候则单独做解析即可。

另外，我们继续来看看Agent的一些事，两方面，一个是标准化设施建设，一个是工具调用规划能力训练框架，这都是基建层面的事儿，可以跟进。

一、Agent标准化设施几再思考

关于agent，OpenAI 放出来新的agent 开发套件，https://openai.com/index/new-tools-for-building-agents/，其实就是 Responses API，简化智能体开发的核心工具。

例如，Responses API采用了统一的基于项目的结构，简化了多态性处理，使得开发者在处理不同类型的数据和响应时更加方便，提供了直观的流式事件处理机制，让开发者可以更轻松地处理和响应模型的实时输出。引入了如response.output_text等 SDK 辅助工具，方便开发者快速获取模型的文本输出。

上述代码就是一个例子，agent中可以封装另一个agent，再包一层。

这其实说明了一个问题，那就是agent这块框架在往标准化走。

事实上，工程、工具使用会日趋标准化跟完善化的。比如MCP，MCP虽然没啥新意，但成为事实标准的希望很大，因为事实上需要这个东西，它可以作为Agent能力的一个扩展坞，增强工具调用这些的能力广度。mcp目前最大的问题还是鉴权这块功能基本没有不过社区很多人提了，估计官方很快会加。

但是呢，出现那么多Agent工具框架，是否也会走向大一统呢？ 是否都会受到冲击呢？，例如https://github.com/WangRongsheng/awesome-LLM-resourses中做的agent工具的归类，长达30个。

当然，我们会进一步去想，这两年模型基础能力和工具都攒了很多，现在随着基座能力的变强，如何规范化地使用这些工具其实也需要提上日程。

在这里，说下一个有趣的点，有个朋友提到LLM+workflow!=Agent，这个是认同的，agent最本真的，必定是自主的而不是一套规则系统。但是呢，这是未来趋势，不是现实。

那么为什么会出现现在的LLM+workflow==Agent这样的局面，是因为一开始要通用，然后做着做着发现没法通用，然后就只能workflow应付了，这其实归根结底还是需求认识不够导致。但现在回过头来看，又起来agent，讲真正的agent。是因为后期的包装很漂亮，视觉冲击有了一些，又燃起了一起兴趣。

当然，这又是一次迭代升级，至少从技术上来说，很令人振奋。

二、OpenManus-RL增强Agent的规划能力框架

增强agent的规划能力是个有趣的话题，如何去实现，最直接的方式就是强化学习，所以可以看，OpenManus-RL，LLM Agents开发的强化学习微调开源项目: https://github.com/OpenManus/OpenManus-RL，

可以看看采用的方案实现路径：

在数据数据的合成上，可以使用如下方式

思维树（ToT），基于树的推理路径，使代理能够系统地探索分支可能性；

思维图（GoT），利用图结构有效表示复杂的推理依赖关系；

深度优先搜索决策树（DFSDT），通过深度优先搜索优化动作选择，增强长时规划；

蒙特卡洛树搜索（MCTS），概率地探索推理和决策路径，有效平衡探索和利用。

在推理数据样本上，有几种推理输出格式。

ReAct，明确集成推理和行动，鼓励结构化决策；基于结果的推理，优化明确的预期结果预测，推动目标对齐。

数据集也有一些开源的，包括：

例如，

Agent-FLAN，地址在：https://huggingface.co/datasets/internlm/Agent-FLAN

AgentInstruct，地址在：https://huggingface.co/datasets/THUDM/AgentInstruct

在基座模型的选型上，可以使用GPT-O,Deepseek-R1，QWQ-32B。

在后训练策略上，可以分为多种路径：

监督微调（SFT），使用人类注释的指令初始化推理能力；

基于广义奖励的策略优化（GRPO）：基于格式的奖励：奖励遵循指定推理结构的程度，基于结果的奖励：奖励准确的任务完成和目标达成。

近端策略优化（PPO）：通过近端更新增强代理稳定性。

直接偏好优化（DPO）：利用明确的人类偏好直接优化代理输出。

基于偏好的奖励建模（PRM）：使用从人类偏好数据中学习到的奖励函数。

基于这些数据，可以训练agent奖励模型。这个项目提供的是一套框架，但具体应该如何实现，核心还是怎么做符合特定场景的agent工具。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述