转移价值？还是 策略？ 一个可转移的连续强化学习的中心框架

最新推荐文章于 2025-04-26 00:39:09 发布
最新推荐文章于 2025-04-26 00:39:09 发布
阅读量4k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习 机器学习 算法 深度强化学习 强化学习 论文研读 ICLR
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41697507/article/details/94294350
本文研究了在连续控制任务中不同环境的转移学习，指出政策转移的局限性，并提出了一种基于模型的价值中心（MVC）框架。MVC在源域中同时学习动态和价值近似器，以提高在新环境中的适应性。实验表明，MVC在从头开始训练时表现与基线相当，但在转移学习中显著超越了它们。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

TRANSFER VALUE OR POLICY? A AVALUE-CENTRIC FRAMEWORK TOWARDS TRANSFERRABLE CONTINUOUS REINFORCEMENT LEARNING

ABSTRACT

Transferring learned knowledge from one environment to another is an important step towards practical reinforcement learning (RL). In this paper, we investigate the problem of transfer learning across environments with different dynamics while accomplishing the same task in the continuous control domain. We start by illustrating the limitations of policy-centric methods (policy gradient, actor-critic, etc.) when transferring knowledge across environments. We then propose a general model-based value-centric

了解本专栏 订阅专栏 解锁全文 超级会员免费看
人工智能机器学习基础篇】——深入详解强化学习 基础知识，理解马尔可夫决策过程（MDP）、策略、价值函数等关键概念
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
01-01 1627
人工智能机器学习基础篇】——深入详解强化学习 基础知识，理解马尔可夫决策过程（MDP）、策略、价值函数等关键概念
通用人工智能之路：什么是强化学习？如何结合深度学习？
FRIGIDWINTER的博客
07-03 8114
【专栏订阅必读】ChatGPT强大魔力的关键因素之一是应用了强化学习模型，本文系统梳理强化学习中环境、智能体、奖赏、动作、状态等关键概念，并给出深度强化学习框架。
WWW2021 | 基于对偶迁移学习的长尾物品推荐
abcdefg90876的博客
06-29 1811
A Model of Two Tales: Dual Transfer Learning Framework for Improved Long-tail Item Recommendat...
论文笔记：Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World
彩虹糖的博客
08-05 6923
Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World 文章概况 作者：Josh Tobin, Rachel Fong, Alex Ray, Jonas Schneider, Wojciech Zaremba, Pieter Abbeel 来源：2017 I...
强化学习的分类
qq_42256930的博客
01-23 244
强化学习分两种：一种是片段式强化学习episodic reinforcement learning；一种是连续式强化学习（continuous reinforcement learning）
每天一篇论文 335/365 Modelling Generalized Forces with Reinforcement Learning for Sim-to-Real Transfer
流浪机器人的博客
02-25 821
Modelling Generalized Forces with Reinforcement Learning for Sim-to-Real Transfer 本文是一篇如何通过对强化学习的环境模型力ide约束来优化强化学习对于从仿真训练到真实模型的差距。 摘要 在现实世界中学习机器人控制策略在数据效率、安全性和控制系统初始状态方面都带来了挑战。另一方面，模拟是一种有用的替代方法，因为它们提供...
WWW2021 | 图机器学习论文一览
weixin_45519842的博客
04-26 1021
WWW2021上一篇公众号的文章由于字体颜色设置的问题，只能在微信深色背景模式下阅读QAQ。由于公众号每天只能群发一次，所以这篇文章只能晚一天和大家见面啦，在此小编和大家说一声抱歉~WWW...
强化学习（Reinforcement Learning, RL）求解方法—— 基于价值的算法、基于策略的算法和演员-评论家方法
最新发布
Rhett_Butler0922的博客
04-26 922
强化学习是机器学习的一个分支，研究如何让智能体（Agent）通过与环境（Environment）交互，学习最优的行为策略以最大化长期累积奖励。不同于监督学习（有明确标签）和无监督学习（寻找数据结构），强化学习的反馈是延迟的稀疏的，智能体需要通过试错（trial-and-error）探索环境，平衡探索（exploration）和利用（exploitation）。游戏（如 AlphaGo、Atari 游戏）。机器人控制（机械臂抓取、无人机导航）。推荐系统、自动驾驶、资源调度等。
分层强化学习框架与实践
AI天才研究院
04-04 1444
强化学习是机器学习的一个重要分支,它通过奖励和惩罚的机制,让智能体在与环境的交互中不断学习和优化行为策略,以获得最大化的累积奖励。然而,在复杂的环境中,单一的强化学习代理很难学习到最优的行为策略。分层强化学习就是为了解决这个问题而提出的一种框架,它通过将任务分解为多个层次,让不同层次的代理协同工作,从而提高学习效率和策略质量。
Pendulum
大贝贝壳的博客
01-18 1615
b[(a[(xi+i)%m]+i/m)%m]=yi设 j 和 k 满足 yj=yk，则将两个方程合并得：b[(a[(xj+j)%m]+j/m)%m]=b[(a[(xk+k)%m]+k/m)%m]a[(xj+j)%m]+j/m≡a[(xk+k)%m]+k/m(mod m)a[(xj+j)%m]-a[(xk+k)%m]≡k/m-j/m(mod m)这样就将两个方程合并为 a[i]-a[j]≡k(...
Value Iteration Networks全文翻译——价值迭代网络
小郁同学
08-06 624
原文：Value Iteration Networks 作者：Aviv Tamar, Yi Wu, Garrett Thomas, Sergey Levine, and Pieter Abbee 出处：Neural Information Processing Systems 2016
形式语言与自动机之语言识别机器——有穷状态自动机
huobengluantiao8
06-28 837
有穷状态自动机的物理模型 有穷状态自动机(finite automaton,FA) M=(Q，∑，δ，q0，F) Q——状态的非空有穷集合。"q∈Q，q称为M的一个状态(state)。 ∑——输入字母表(Input alphabet)。输入字符串都是∑上的字符串。 q0——q0∈Q，是M的开始状态(initial state)，也可叫做初始状态或者启动状态。 δ——状态转移函数...
强化学习之TD3算法实现
Ton的博客
03-27 6981
学习研究强化学习有个必不可少的工具就是——环境Env。在学习初期的时候，我们大多会在简单Gym环境比如Cartpolo、MountainCar、Pendulum、Puckworld、迷宫寻宝这几种环境中实现我们的算法。那么随着算法的复杂提高，我们需要进一步在复杂环境中实现算法。以TD3算法中的7种环境为新一轮起点，进行研究。如果你看过最近几年的论文，你会发现大多数算法都是在MUJOCO环境下实现的，TD3也不例外。 因此复现TD3算法需要： 装有带MUJOCO环境的完整版Gym包(网上有许多教程，都可以来
强化学习（六） - 连续空间中的强化学习(RL in Continuous Spaces)及相关实例
热门推荐
Stan_Fu的博客
10-09 1万+
6.1 离散空间和连续空间 在之前的实例中，状态和动作的数量受到限制。使用小的，有限的马尔可夫决策过程（MDP），可以用表，字典或其他有限结构来表示动作值函数。 例如，考虑下面的非常小的gridworld。假设世界有四个可能的状态，并且代理有四个可能的操作可供使用（上，下，左，右）。您在前面的课程中了解到，我们可以在表中表示估计的最佳操作值函数，每个状态对应一个行，每个动作对应一个列。我们将此表称为Q表。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BnBR6zFE-16
OSDI文章分享，论文（A Simpler and Faster NIC Driver Model for Network Functions)的结构化文摘
结构化论文学习和写作
07-20 244
Authors: Solal Pirelli and George Candea,EPFL Abstract: The advent of software network functions calls for stronger correctness guarantees and higher performance at every level of the stack. Current network stacks trade simplicity for performance and...
ICLR2020 || 106篇深度强化学习顶会论文汇总
abcdefg90876的博客
04-29 4172
深度强化学习实验室报道转载自：EndtoEnd.ai编辑：DeepRL【导读】今年的ICLR大会转到了线上举行，DeepMind和哈佛的研究人员投稿了一篇神经网络控制虚拟小白鼠模的论文...
从200多篇顶会论文看推荐系统前沿方向与最新进展
abcdefg90876的博客
04-03 6281
推荐系统作为深度学习御三家（CV, NLP, RS）之一，一直都是学术界和工业界的热门研究topic。为了更加清楚的掌握推荐系统的前沿方向与最新进展，本文整理了最近一年顶会中推荐系统相关的...
[RL 8] Proximal Policy Optimization Algorithms (arXiv, 1707)
xyp99的博客
10-28 346
Proximal Policy Optimization Algorithms (arXiv, 1707) 1.Introduction room for RL scalable: support for parallel implementations, to make use of resources data efficient robust: non-sensitive to hyperparameter problems A3C: poor data efficiency TRPO: c
辅助读懂Reinforcement Learning for Slate-based Recommender Systems
心之所向
04-06 1217
基础知识准备 强化学习入门简单实例 DQN 强化学习入门 第一讲 MDP 随笔分类 - 0084. 强化学习 中文翻译 强化学习RL应用在youtube推荐系统 2019谷歌论文解读 强化学习应用k推荐的问题 slate在文中的意思大概就是一次性推荐k个item给用户。由于是k个item的组合，动作空间是非常大的。 Choice Model 在本文的强化学习中使用到了choice model模型...
强化学习基于价值与基于策略
03-04
### 基于价值的方法与基于策略方法的比较 #### Q-Learning的核心原理 Q-Learning属于基于价值的学习方法，旨在学习最优的动作值函数\(Q^*(s, a)\)，即给定状态下采取某行动所能获得的最大期望回报。此方法利用贝尔曼方程迭代更新估计值，直到收敛至真实值[^1]。 对于离散动作空间的任务而言，由于不需要显式定义环境模型即可工作良好，并且易于理解和实现，因此成为入门级研究者首选工具之一。 ```python import numpy as np def q_learning(env, num_episodes=500, alpha=0.8, gamma=0.95): """ 实现简单的Q-learning算法 """ # 初始化Q表 q_table = np.zeros([env.observation_space.n, env.action_space.n]) for i in range(num_episodes): state = env.reset() while True: action = choose_action(state, q_table) # 根据当前状态选择行为 next_state, reward, done, _ = env.step(action) old_value = q_table[state, action] next_max = np.max(q_table[next_state]) new_value = (1 - alpha) * old_value + \ alpha * (reward + gamma * next_max) q_table[state, action] = new_value if done: break state = next_state return q_table def choose_action(state, q_table, epsilon=0.1): """ ε-greedy 策略选取action""" ... ``` #### Policy Gradient的核心原理 相比之下，Policy Gradient是一种直接针对参数化概率分布πθ(a|s)进行优化的技术，它试图最大化累积奖励关于这些参数的期望值。这种方法允许处理更广泛类型的决策过程——特别是那些涉及高维甚至无限大连续控制变量的情况，在这类环境中难以构建有效的表格表示法或近似器。 通过梯度上升调整权重向量w使得目标J(w)=E[Rt]尽可能增大，其中Rt代表从时间步t开始到结束所收到的所有折扣后的即时奖励之和。值得注意的是，为了稳定训练并提高样本效率，通常会引入基线b(s_t; w_b)(如平均历史收益)来减少方差而不影响无偏性。 ```python import torch from torch.distributions import Categorical class PolicyGradientAgent(torch.nn.Module): def __init__(self, input_dim, output_dim): super().__init__() self.fc = torch.nn.Linear(input_dim, 64) self.out = torch.nn.Linear(64, output_dim) def forward(self, x): h = F.relu(self.fc(x)) logits = self.out(h) dist = Categorical(logits=logits) return dist.sample(), dist.log_prob(dist.sample()) agent = PolicyGradientAgent(observation_size, n_actions) for episode in range(total_episodes): obs = env.reset() log_probs = [] rewards = [] while not done: action, log_prob = agent(torch.tensor(obs).float()) new_obs, reward, done, info = env.step(action.item()) log_probs.append(log_prob) rewards.append(reward) obs = new_obs update_policy(agent.optimizer, log_probs, rewards) ``` #### 各自的优点与局限性 - **Q-Learning** - 优点：无需事先知道转移概率矩阵P(s'|s,a); 对小型有限MDPs非常有效；容易与其他技术相结合形成新的变种版本。 - 缺点：仅限用于低维度的状态-动作对组合；当面对大规模问题时可能会遇到计算资源瓶颈以及泛化能力不足等问题。 - **Policy Gradients** - 优点：可以直接作用于任何可微分的概率型映射关系之上；支持端到端的学习框架设计；更容易推广到复杂的现实世界挑战之中去。 - 缺点：性能高度依赖于初始化质量；存在较高的采样需求从而增加了探索成本；可能陷入局部极小解而非全局最优点附近徘徊不前。 #### 应用场景的选择依据 如果任务具有较小规模、明确界限良好的离散选项集，则倾向于采用像DQN这样的value-based方案更为合适一些。而对于涉及到多模态感知输入或者需要精细调控输出幅度的情形来说，policy gradient family无疑提供了更加灵活强大的解决方案路径。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Adam婷

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值