第8章 强化学习改进(扩展与工程落地):将 ReAct 视为策略(PPO / RL)

目录

8.0 概览与目标陈述

8.1 为什么引入 RL

8.2 将 ReAct 形式化为 MDP / POMDP

8.2.0 POMDP 考虑

8.2.1 状态表示(更细化)

8.2.2 动作空间设计

8.2.3 奖励设计

8.3 PPO / A2C / 近端方法在文本策略上的实践要点

8.3.1 架构与参数化实践

8.3.2 PPO 实现要点(伪代码)

8.3.3 探索与采样

8.3.4 采样效率与显存

8.4 离线回放 Buffer、Mock 环境与训练管线

8.4.1 回放 Buffer 格式(建议)

8.4.2 Mock Environment

8.4.3 Offline RL 与分布偏移

8.4.4 评估管线

8.5 DeepSeek-R1

8.5.1 DeepSeek-R1-Zero(纯 RL)关键点复盘

8.5.2 “Aha!”:CoT 自发增长与工程含义

8.5.3 推荐实验路线(可复现)

8.6 DPO / Preference-based 方法补充

8.7 调参建议与失败模式

初始超参(参考)

常见失败模式 & 缓解

8.8 监控、日志与可视化

8.9 实验与消融建议

8.10 可复用伪代码:从 SFT 到 PPO 的简单管线

8.11 最后给 Agent 开发者的精简行动清单

8.12源码实现

1) YAML 配置与命令行脚本(示例)

命令行脚本(示例)

2) PyTorch 参考实现(核心文件与要点)

policy.py — Policy wrapper(采样、logprob、LoRA 集成)

reward.py — 奖励计算模块(可替换的 RM 接口)

train_grpo.py — GRPO 训练主循环(伪实用实现)

train_ppo.py — PPO 实现要点(LoRA + Critic)

3) 人类评估打分表与 A/B 实验协议(可直接用)

3.1 打分表(字段与满分说明)

结语



8.0 概览与目标陈述

将 ReAct 看作一个策略的核心思想是:把“思考(Thought)+行动(Action)”看成策略决策单元,用 RL 在策略空间中直接优化长期回报。这样可以把复杂的自纠错与多步规划逻辑内化到模型权重中,从而降低 inference 时对冗长 system prompt 的依赖、提升稳定性和可重复性、并改善长期目标(如多步任务的最终成功率)。


8.1 为什么引入 RL

  • 从统计视角:prompt-only 方法相当于条件生成的零样本或少样本模拟,其方差来源于随机采样与上下文敏感性。RL 通过对长期回报求期望并使用基线/优势(baseline/advantage)来显著降低估计方差并改进策略稳定性(更低波动的决策分布)。

  • 信用分配(Credit Assignment):多步骤错误难以通过静态 pr

模拟滤波器的基础知识和设计 使用Python实现多种模拟滤波器 阅读详情

相关推荐

鱼眼相机去畸变(图像拉直/展开/矫正)算法及实战总结

1、算法说明经纬度矫正法, 可以把鱼眼图想象成半个地球, 然后将地球展开成地图,经纬度矫正法主要是利用几何原理, 对图像进行展开矫正。经过P点的入射光线没有透镜的话,本应交于相机成像平面的e点。然而,经过鱼眼相机的折射,光线会交于相机成像平面的d点,就产生了畸变,因此畸变图像整体上呈现出像素朝图像中心点聚集的态势。而去畸变,就是将折射到d点的点,重新映射回到e点,因此去畸变之后的图像与原始的鱼眼图像相比,仿佛是把向心聚集的像素又重新向四周铺展开来。AVM环视系统——鱼眼相机去畸变算法 - 知乎。

大胡子大叔的专栏 2万+

Visual Studio 6.0 镜像下载全指南:从企业版到中文版

本文提供Visual Studio 6.0企业版和中文版的镜像下载全指南,包括详细版本解析、已验证的下载链接及校验信息。针对现代系统的安装技巧和兼容性处理方案,帮助开发者高效获取并运行这一经典开发工具,特别适合维护遗留系统的专业人员。

weixin_33712987的博客 1147

手把手教你在Keil/IAR中移植SEGGER_RTT组件(避坑指南+性能对比)

本文详细介绍了在Keil/IAR开发环境中移植SEGGER RTT调试组件的完整流程与优化技巧。通过对比传统串口调试,SEGGER RTT凭借零硬件占用、高速传输和双向交互等优势,显著提升嵌入式开发效率。文章包含配置步骤、性能调优方案及常见问题解决方案,是嵌入式开发者必备的实用指南。

y7z8a的博客 246

android 如何分析应用的内存(十六)——使用AS查看Android堆

在前面,先介绍了如何使用jdb和VS code查看应用栈相关内容。本文将介绍,如何查看堆中的内容。

安仔的博客 4254

UNet改进(19):基于残差注意力模块Residual Attention的高效分割网络设计

本文提出一种结合注意力机制的改进UNet网络,通过引入残差注意力模块(ResidualAttentionBlock)增强医学图像分割性能。该网络在传统UNet的U型结构基础上,创新性地将轻量级注意力机制与残差连接相结合,在编码器-解码器各层级实现特征重标定。改进后的网络具有三方面优势:通过注意力机制自适应聚焦关键特征区域,利用残差连接缓解梯度消失问题,采用模块化设计灵活配置注意力位置。

2501_91516851的博客 786

【异常】OpenClaw LLM请求超时异常LLM request timed out.的技术分析与解决方案

LLM请求超时是OpenClaw工程化落地中最常见的链路稳定性问题,排查处置需遵循标准化的分级流程。绝大多数场景可通过重试、调整超时配置、优化模型选型快速解决;针对顽固型异常,可通过全链路日志拆解超时阶段,精准定位根因并完成针对性修复,最终保障OpenClaw业务链路的稳定运行。

奶爸的编程之路,也就一周冷个三天 1993

​ISP算法及架构分析介绍

ISP算法及架构分析介绍ISP即Image Signal Processor,是一种图像处理架构,不是我们用的下载器。ISP其实算是图像处理的一个特例,一般应用于前端设备(相对于SENSOR),从结果上看就是将RAW数据转换成压缩后的RGB(一般)数据,供后续CPU使用(识别、压缩等)。市面上很少有直接介绍ISP的书籍或者资料,今天我们主要是聊一聊ISP算法的架构,这样大...

OpenFPGA的博客 5407

【报错解决】彻底解决 CondaHTTPError: HTTP 000 CONNECTION FAILED for url 报错

CondaHTTPError: HTTP 000 CONNECTION FAILED for url 错误本质上是由于 Conda 无法访问远程仓库引起的,常见原因包括网络不通、防火墙或安全软件阻拦、SSL 证书异常以及默认仓库不可达。解决该问题的关键在于:确保网络畅通、配置国内稳定镜像源、调整防火墙和安全设置、处理 SSL 证书问题,并保持 Conda 版本更新。通过这些方法,几乎可以彻底消除连接失败问题,保证 Conda 环境的正常使用和包管理的稳定性。

博客 1164

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

上一篇: 一文搞明白PYTORCH
下一篇: 第9章 语言级自我改进:Reflexion 与记忆机制
VectorShift
博客等级 码龄1年 1843粉丝 1109原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

VectorShift

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值