Offline Transition Modeling via Contrastive Energy Learning

原创 已于 2025-06-05 21:21:59 修改 · 441 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #机器学习 #深度学习 #人工智能

于 2025-06-05 21:10:28 首次发布

ICML 2024
paper
code
学习高质量的动力学模型对于顺序决策任务非常重要，尤其是在离线环境下。然而，真实世界环境中过渡动态的复杂行为给标准前向模型带来了挑战，因为这些模型偏向于平滑回归因子，与过渡的固有特性（如不连续或大曲率）相冲突。在这项工作中，建议通过标量值能量函数对过渡概率进行直观建模，这样不仅可以灵活预判分布，还能捕捉复杂的过渡情况。研究表明，基于能量的过渡模型（ETM）能准确拟合不连续的过渡函数，并能更好地泛化分布外过渡数据。此外，在 DOPE 基准测试中，证明基于能量的过渡模型提高了评估精度，并明显优于其他off-policy评估方法。最后证明了基于能量的过渡模型也有利于强化学习，并在 D4RL Gym-Mujoco 任务中优于先前的RL 算法。

总结：采用能量模型对动力学模型建模，训练能量模型则是采用对比学习（正样本为离线数据集真实转移，负样本为K-1个基于模型的通过Langevin MCMC 采样）

Method

能量模型

在这里插入图片描述

Langevin MCMC 采样

在这里插入图片描述
其中z为高斯噪声

能量模型训练

最低0.47元/天 解锁文章
【强化学习论文合集】三十五.2021神经信息处理系统大会论文(NIPS2021)
计算机科研杂货铺
11-28 2968
强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。 本专栏整理了近几年国际顶级会议中，涉及强化学习（Reinforcement Learning, RL）领域的论文。顶级会议包括但不限于：ICML、AAAI、IJCAI、NIPS、ICLR、AAMAS、CVPR、ICRA等。
IJCAI‘22 推荐系统论文梳理
harleyrecsys的博客
09-21 690
推荐算法论文
2024 推荐系统论文汇总
卢之
01-08 1万+
对2024年的 推荐系统论文进行一波收集，给各位初学者和算法大佬作为灵感来源，后续专栏会继续更新论文解读，根据评论不断补充，欢迎大家三连~
顶会速递 | ICLR 2020录用论文之强化学习篇
语言智能技术笔记簿
03-12 5943
人工智能顶会ICLR 2020录用的强化学习相关的研究论文已经为大家准备好了，赶紧Mark学习起来吧！
【论文阅读笔记】NeurIPS2020文章列表Part1
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
【推荐系统】推荐系统领域最新研究进展
fengdu78的博客
11-03 1229
本文精选了上周（1024-1030）最新发布的17篇推荐系统相关论文。本次论文集合的方向主要包括可解释性推荐[1]、基于强化学习的推荐算法[2]、深度混合推荐算法[4]、序列化推荐[5,8,15,16]、自监督推荐算法[10]、基于量子计算的因子分解机推荐[11]、鲁棒推荐算法[12,13]、基于隐私保护的推荐算法[14]等。以下整理了论文标题以及摘要，如感兴趣可移步原文精读。1. COFFEE:...
CVPR2022论文列表（中英对照）
dovings的博客
07-04 2万+
CVPR论文列表，中英对照
【AAAI 2021】全部接受论文列表（六）
yinizhilianlove的博客
01-14 6977
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2021-01-14 马上春节了，疫情又卷土而来，希望大家注意防护，爱护自己的身体 AAAI 2021论文接收情况   人工智能顶级会议AAAI 2021 已经给出接收论文列表，共有1692篇论文被接收，录取率21%，比去年的20.6%稍微有些上升。单从数量上看，也比去年多了101篇。本届 AAAI 2021已经是第35 届会议了。据 AAAI 2021官方网站，这个 2021年首个人工智能顶会将全.
AAAI 2022 论文列表
热门推荐
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
生成式~扩散模型
whaosoft143ai的博客
02-02 1946
001 (2024-02-1) Distilling Conditional Diffusion Models for Offline Reinforcement Learning through Trajectory Stitching https://arxiv.org/pdf/2402.00807.pdf002 (2024-02-1) AnimateLCM Accelerating the Animation of Personalized Diffusion Models and Ad
机器学习领域顶会ICML20精选论文分享
lqfarmer的博客
09-13 4778
ICML 是 International Conference on Machine Learning的缩写，即国际机器学习大会。ICML如今已发展为由国际机器学习学会（IMLS）主办的年度机器学习国际顶级会议。 今年的ICML2020会议由于受疫情的影响改成了线上会议，做为人工智能领域的顶级会议之一，今年入选的论文一共1088篇，入选论文的数量创造了历史之最，但接受率却只有21.8%，低于2019年22.6%和2018年的24.9%。 本文整理了本次顶会的入选的精选论文，分...
顶会速递 | ICLR 2020录用论文全集
语言智能技术笔记簿
03-10 1万+
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
代码随想录 63.不同路径Ⅱ
m0_63814538的博客
11-24 333
4.确定遍历顺序：从递归公式可以看出一定是从左到右一层一层的遍历，这样保证推导dp[i][j]的时候，dp[i - 1][j]和dp[i][j - 1]一定是有数值的。所以本题的初始化代码如下所示：一旦遇到obstacleGrid[i][0] == 1的情况就停止dp[i][0]的赋值1的操作，dp[0][j]同理。1.确定dp数组（dp table）及其下标的含义：dp[i][j]表示从（0，0）出发，到（i，j）有dp[i][j]条不同的路径。下标（0，j）的初始化情况同理。
算法：二叉搜索树的最近公共祖先
czlczl20020925的博客
11-24 436
下面是详细的解释，说明为什么这是必然的。对于我们当前所在的任何节点。
算法沉淀第十二天（牛客练习赛146）
lingran__的博客
11-22 871
本文分享了牛客练习赛146的三道算法题解：1.《合格的机器》通过分析代币奇偶性，得出最优解是尽量使机器代币数为偶数，当总代币数≥2n时最多n-1台合格；2.《小灰灰的火焰星球2》通过排序施法顺序和预处理价值数组，实现高效计算最大收益；3.《盲目自大的小灰灰》通过计算得分区间，判断查询分数是否可能达到。每道题都包含题意分析、逻辑梳理和AC代码实现，适合算法学习者参考。
Anyview数据结构第一章（按需自取）
2302_79085918的博客
11-22 504
【代码】Anyview数据结构第一章（按需自取）
竞争性自适应重加权算法（CARS）的MATLAB实现
最新发布
fengfuyao985的博客
11-25 265
竞争性自适应重加权算法（CARS）的MATLAB实现
GoC题解(22) GoC测试模拟题(2017.3.23)第6题：同心圆
2301_78151773的博客
11-22 224
小C要画红绿黄3个不同半径的同心圆，要求红色(1号）的是最大半径圆，绿色（3号）的是第2大半径的圆，黄色（5号）的是最小半径的圆。但输入是的的3个数可能并没有从大到小。这3个圆一定要按照正确的次序才能画出正确的图形。比如你最后画最大的圆形，就只能看见一个红色的大圆。请你帮小C编程解决这个问题。一行3个不同的正整数a,b,c：表示每圆的半径，范围在[10..100]。有同学容易犯下面这段代码类似的错误。
布隆过滤器有哪些算法？
kupePoem的专栏
11-22 503
这些算法构成了布隆过滤器技术的完整体系，从基础到高级，满足了不同场景下的需求。布隆过滤器（Bloom Filter）是一种概率型数据结构，用于高效地检查一个元素是否存在于一个集合中。a 对元素x计算k个哈希值：h₁(x), h₂(x), ..., hₖ(x)。如果有0，返回"肯定不存在"。（2）概率性结果：可能返回假阳性（误判），但不会返回假阴性。b 如果所有位置计数器都大于0，返回"可能存在"b 如果粗略层返回"肯定不存在"，直接返回结果。a 创建长度为m的计数器数组，初始化为0。
Contrastive Energy Prediction for Exact Energy-Guided Diffusion Sampling in Offline Reinforcement Learning
03-21
### 对比能量预测在离线强化学习中的应用 对比能量预测（Contrastive Energy Prediction, CEP）是一种用于改进离线强化学习中策略优化的技术。它通过引入一种新的能量函数来指导扩散采样过程，从而提高样本效率和策略性能[^1]。 #### 能量引导扩散采样的核心概念 在离线强化学习中，数据集通常是固定的，无法通过与环境交互获取新数据。因此，如何高效利用已有数据成为关键挑战之一。CEP 方法的核心在于设计了一种基于对比学习的能量模型，该模型能够评估状态-动作对的质量并生成高质量的动作分布。 具体而言，精确能量引导扩散采样（Exact Energy-Guided Diffusion Sampling）旨在通过对动作空间进行连续调整，使得最终采样到的动作更接近最优解。这一过程依赖于一个精心设计的能量函数，其作用类似于传统强化学习中的奖励信号，但更加灵活且适用于静态数据集场景。 以下是实现此方法的一个简化伪代码示例： ```python def contrastive_energy_prediction(state, action_candidates): # 计算每个候选动作的能量值 energies = compute_energies(state, action_candidates) # 使用对比损失训练能量模型 loss = contrastive_loss(energies, positive_action_index) optimize(loss) return energies def exact_energy_guided_diffusion_sampling(state, initial_distribution): current_sample = initial_distribution for t in range(diffusion_steps): noise_level = schedule_noise(t) # 更新当前样本以降低能量 gradient = estimate_gradient(current_sample, state, noise_level) current_sample -= step_size * gradient return current_sample ``` 上述代码展示了两个主要部分：一是 `contrastive_energy_prediction` 函数负责计算给定状态下不同动作的能量；二是 `exact_energy_guided_diffusion_sampling` 实现了一个逐步减少噪声的过程，在每一步都尝试使样本向低能量区域移动。 #### 技术优势 相比传统的离线强化学习算法，CEP 和精确能量引导扩散采样具有以下几个显著优点： - **更高的样本利用率**：由于采用了精细调优的扩散机制，即使面对有限的数据也能有效提取有用信息。 - **更强泛化能力**：通过构建通用型能量函数而非特定参数化的策略网络，可以更好地适应未见过的状态输入。 - **易于扩展至复杂环境**：这种方法天然支持高维连续控制任务，并且理论上可推广到多种不同的领域问题上。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值