ReplayBuffer: Model-augmented Prioritized Experience Replay

最新推荐文章于 2025-09-01 17:46:32 发布
原创 最新推荐文章于 2025-09-01 17:46:32 发布 · 1.4k 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

本文介绍了一种新的在RL中结合奖励模型和状态转移模型的采样频率计算方法MaPER，通过优化模型误差（包括Q函数、奖励模型和状态转移模型）来提高模型-free和model-based方法的样本效率。作者提出了一种权重分配策略，以调整每个采样数据在联合损失函数中的重要性。

ICLR 2022 Poster
paper
一篇关于RelayBuffer中sample ratio的文章，可以结合到model-free以及model-based的方法中提升算法的sample efficiency。

Intro

以往基于优先回访机制的Buffer均是基于Q函数的TD-erro展开，而这所能捕获到的样本信息还是较少。作者观察到奖励模型、状态转移模型以及Q函数都是在同一个Domian中进行特征表达(输入均为 S , A S,A S,A)，因此在TD-error的基准上，加上奖励模型以及状态转移模型的model-erro，构造一种新的采样频率计算方法MaPER。
在这里插入图片描述

Method

对于从Buffer中sample 出的N个数据 B i = ( s κ ( i ) , a κ ( i ) , r κ ( i ) , s κ ( i ) + 1 ) \mathcal{B}_i=\begin{pmatrix}s_{\kappa(i)},a_{\kappa(i)},r_{\kappa(i)},s_{\kappa(i)+1}\end{pmatrix} Bi​=(sκ(i)​,aκ(i)​,rκ(i)​,sκ(i)+1​​)首先TD-erro采用Q bellman迭代误差, 其中使用奖励模型代替环境给出的奖励:
L Q θ = E ( s t , a t , s t + 1 ) ∼ B [ ∥ δ t Q θ π Θ ( s t , a t , s t + 1 ) ∥ M S E ] , δ Q θ π Θ ( s t , a t , s t + 1 ) = Q θ ( s t , a t ) − ( R θ ( s t , a t ) + γ E a ′ ∼ π Θ ( ⋅ , s t + 1 ) [ Q θ ( s t + 1 , a ′ ) ] ) . L_{\mathcal{Q}_\theta}=\mathbb{E}_{(s_t,a_t,s_{t+1})\sim\mathcal{B}}\left[\|\delta_t\mathcal{Q}_\theta^{\pi_\Theta}(s_t,a_t,s_{t+1})\|_{\mathrm{MSE}}\right],\\\text{}\\\delta\mathcal{Q}_\theta^{\pi_\Theta}(s_t,a_t,s_{t+1})=\mathcal{Q}_\theta(s_t,a_t)-\left(\mathcal{R}_\theta(s_t,a_t)+\gamma\mathbb{E}_{a^{\prime}\sim\pi_\Theta(\cdot,s_{t+1})}\left[\mathcal{Q}_\theta(s_{t+1},a^{\prime})\right]\right). LQθ​​=E(st​,at​,st+1​)∼B​[∥δt​QθπΘ​​(st​,at​,st+1​)∥MSE​

最低0.47元/天 解锁文章
深度强化学习经验回放(Experience Replay Buffer)的三点高性能修改建议：随机采样、减少保存的数据量、简化计算等
丨汀、的博客
07-15 5554
深度强化学习经验回放(Experience Replay Buffer)的三点高性能修改建议：随机采样、减少保存的数据量、简化计算等
强化学习&基于值6.2 | replay buffer经验回放
ASKCOS博客
03-17 2286
我们与环境进行互动并且在每个时间步，获得一个动作，状态，奖励，下个状态的元组，学完之后就丢弃，在下个时间步移到下个元组 我们将每个经验元组储存在这个缓冲区中，然后从中抽取一小批元组进行学习，因此我们能够从单个元组中多次学习规律。回顾罕见的状态并充分地利用经验；另一个改善是，过往的经验中每个动作A都以某种方式影响下个状态S，意味着一系列经验元组可能关系非常紧密，如果按照顺序学习会面临受到这种联系影响的风险，而借助replay buffer我们可以随机地从缓冲区取样，不一定必须是储存元组的同一顺序，这有助于打
DDPG（3）_replay_buffer
qq_30626231的博客
06-18 3407
1、引用python库from collections import deque import random 2、定义类class ReplayBuffer(object): def __init__(self, buffer_size): self.buffer_size = buffer_size（以下全为Class ReplayBuffer中的函数）3、初始化函数 ...
强化学习模型-Priority Replay Buffer
热门推荐
马飞飞的博客
06-05 1万+
论文：Schaul T, Quan J, Antonoglou I, et al. Prioritized Experience Replay[J] . Computer Science,2015 前言 1.首先提下Replay Buffer吧，Replay Buffer是最基本的样本收集再采样的过程，是之前在做DDQN实验中使用的一种样本利用方式，原因是当我们使用Q-learning算法进行...
突破样本效率瓶颈：CleanRL经验回放Buffer设计与实战指南
最新发布
gitblog_01053的博客
09-01 956
你是否还在为强化学习训练中的样本利用率低而困扰？是否想知道如何通过优化经验回放机制提升智能体性能？本文将深入解析CleanRL中两种核心Buffer实现——ReplayBuffer与RolloutBuffer的设计原理、采样策略及内存优化技巧，带你掌握高效经验管理的关键技术。读完本文，你将能够：理解不同Buffer的适用场景、掌握内存优化配置、解决样本相关性问题、实现高性能采样。 ## Buff...
【RL】Replay-Buffer的核心作用是提高样本效率
墨门
03-02 364
ReplayBuffer
强化学习-论文调研-experience replay
weixin_47895059的博客
03-26 1138
将critic net的损失从Q 的TDerror的均方差，转变为Q 的TDerror的均方差，R的均方差和Transaction的均方差的加权和。在选取transaction时训练网络时, TD-error大的求出的偏导更大,对网络影响更大,TD-error小的求出的偏导更小,对网络的影响更小, 基于此PER算法给TD-error 大的项目更高的权重,使其更高的概率被选中. 同时为了避免过多使用相同数据训练造成过拟合,也要保证优先级低的数据也有一个非零的概率被选中.状态的相似度计算可以用余弦相似度实现。
ICLR 2022 不求甚解阅读笔记--强化学习类（1）
kiding_k的专栏
07-29 1036
ICLR 2022
RLlib: Scalable Reinforcement Learning
weixin_43255962的博客
06-09 1501
RLlib是一个用于增强学习的开源库，它为各种应用程序提供了高可伸缩性和统一的API。 首先，查看自定义env示例和API文档。如果您希望使用RLlib开发自定义算法，请查看概念和自定义算法 安装 RLlib是依赖于ray的。首先，您需要安装PyTorch或TensorFlow。然后，安装RLlib模块（此处默认安装tensorflow）: pip install tensorflow # o...
key papers in deep rl 深度强化学习的关键论文
DarrenXf的专栏
03-16 980
key_papers_in_deep_rl What follows is a list of papers in deep RL that are worth reading. This is far from comprehensive, but should provide a useful starting point for someone looking to do research ...
为什么PPO不可以像DQN一样使用Replay Buffer？——强化学习
千羽的计算机视觉与机器人
10-12 2785
为什么PPO不可以像DQN一样使用Replay Buffer？——强化学习
强化学习_DQN算法
m0_68462260的博客
09-26 256
在Q-learning 中，我们有一个Qtable，记录着在每一个状态下，各个动作的Q值。训练之后我们继续进行游戏，继续把新产生的数据添加到回放缓存里，每次都随机抽出一个 batch 大小的数据训练智能体，这样，以前产生的数据同样也能用来训练数据。另外一个叫 targetQ 网络，targetQ 自己并不会更新，也就是它在更新的过程中是固定的，用于计算更新目标。我们把(每一步的S，选择的a，进入新的状态s’，获得的奖励r，新状态是否为终止状态)作为一条条数据。一个是原来的Q 网络，用于估算 Q(S);
[强化学习总结4] DQN
BLUE BOX
10-30 2307
强化学习的目标通常是找到一个策略，使得智能体从初始状态出发能获得最多的期望回报，这个策略就是最优策略（optimal policy）。
强化学习 经验回放
appllllllle的博客
12-03 689
这些信息被组合成经验元组（experience tuples）或经验轨迹（experience trajectories），并存储在一个叫做经验回放缓冲区（experience replay buffer）的数据结构中。：在训练过程中，智能体不是直接从最新的经验中学习，而是从经验回放缓冲区中随机采样一批经验元组。：经验回放允许智能体在利用已有经验的同时，通过探索获得新的经验，从而平衡两者之间的关系。：通过重复使用经验，智能体可以从有限的交互中学习更多的信息，从而提高数据的利用效率。
强化学习（RL）算法 中的一种基于 Actor-Critic 框架 的结构 PPO
强化学习曾小健
12-30 1203
或类似的强化学习算法。训练 Actor 和 Critic 网络。衡量某状态的“价值”。学习准确的状态值函数。
​​7.1 LCRC错误与Replay Buffer溢出定位​
amy_mhd的博客
07-20 916
摘要：PCIe系统中LCRC错误和ReplayBuffer溢出是影响数据传输可靠性的关键问题。LCRC错误由TLP包CRC校验失败触发，常因信号干扰或重传机制失效；ReplayBuffer溢出则源于高负载下的缓存不足。定位流程包括硬件状态检查（寄存器/AER日志）、链路参数调整（降速/减Lane）及均衡重训练。解决方案涵盖驱动层优化（重传/中断优先级）、信号完整性改进和缓冲区扩容。典型案例如Gen4x8链路的LCRC错误需调整TX参数，而周期性溢出需优化中断处理。建议通过实时监控脚本和自动化测试框架长期维护
强化学习-李宏毅-算法02：DQN（Deep Q-Learning Network）【Deep Learning Network + Q-Learning 】
u013250861的博客
01-06 9026
DQN（Deep Q-Learning Network）可谓是深度强化学习（Deep Reinforcement Learning，DRL）的开山之作，是将深度学习与强化学习结合起来从而实现从感知（Perception）到动作（ Action ）的端对端（End-to-end）学习的一种全新的算法。由DeepMind在NIPS 2013上发表1，后又在Nature 2015上提出改进版本2。 - DQN（Deep Q-Learning Network）创新点： 1. 基于Q-Learning构造Loss
算法学习（十一）—— Prioritized Experience Replay
星之所望的博客
03-02 924
基本思想： 使用包含更多信息的样本训练网络，如何快速的选出这些样本以及如何消除样本选择不均匀导致的参数更新错误是重点。 使用条件： 奖励密度不够高、 关键点： TD-error、sumtree和isweights TD-error： 其目的在于不用样本赋予的权重, sumtree：用于对不同TD-error的数据提供一个选择上的优先级。 抽样时, 我们会将 p 的总和除以 batch size, 分成 batch size 那么多区间, (n=sum(p)/batch_s.
MEMO RAG: Memory-Augmented RAG
01-04
### Memory-Augmented RAG 技术原理 Memory-Augmented RAG (Retrieval-and-Generation) 是一种增强型架构，在传统RAG基础上引入外部记忆机制，旨在提升模型处理复杂对话和长期依赖的能力。这种架构不仅利用了检索到的信息作为上下文输入给生成器，还通过额外的记忆组件存储过往交互记录以及重要知识点[^1]。 具体来说，当面对一个问题时，系统会先执行一次初步检索操作以获得最相关的文档片段；与此同时，访问内部维护的一个持久化数据库——即所谓的“memory store”。该store可以保存之前已经学习过的事实性陈述、用户偏好或者其他任何形式的知识积累。随后，这些来自不同源的数据会被融合起来供后续解码阶段使用，使得最终产生的回复更加精准且连贯[^5]。 对于技术实现而言，Memory-Augmented RAG通常涉及以下几个核心要素： - **高效索引结构**：为了快速定位所需资料，必须设计合理的索引方案以便于支持即时查询需求。 - **动态更新策略**：随着新信息不断涌入，如何保持内存内容的有效性和时效性成为一大挑战。因此需要制定一套完善的规则体系用于管理新增条目与过期项之间的平衡关系。 - **多模态集成能力**：考虑到实际场景下的多样性，除了纯文本外，图像、音频等多种形式的内容也应被纳入考量范畴之内，进而拓宽系统的感知边界[^2]。 ```python class MemoryAugmentedRAG: def __init__(self, memory_store): self.memory_store = memory_store def retrieve(self, query): # 执行常规检索流程... # 同步读取关联记忆单元 related_memories = self.memory_store.get_related_entries(query) return combined_context def generate_response(self, context): pass # 实现响应生成逻辑 ``` ### 应用场景分析 在客服机器人领域，Memory-Augmented RAG可以帮助机器更好地理解客户意图，并给出更为个性化的建议和服务体验。例如，在线旅游平台可以根据游客的历史浏览行为推荐相似目的地或活动项目；电商平台则能依据购买历史预测潜在兴趣商品并适时推送促销优惠信息[^3]。 教育辅助工具同样可以从这项技术创新中受益匪浅。教师可以通过定制专属的学习路径引导学生逐步掌握课程要点；而学生们也能借助内置的智能导师随时解答疑惑，巩固薄弱环节，形成良性循环的学习模式[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值