O2O:Uncertainty-Driven Pessimistic Q-Ensemble for Offline-to-Online Reinforcement Learning

最新推荐文章于 2025-11-30 18:24:05 发布
原创 最新推荐文章于 2025-11-30 18:24:05 发布 · 1.1k 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

本文提出了一种新的离线强化学习方法UPQ，通过集成悲观的Q估计并引入基于不确信度的惩罚，有效应对OOD数据导致的价值函数错误估计，从而提高策略的性能。UPQ方法利用BalancedReplayBuffer和调整后的Critic和Actor更新机制来优化学习过程。

NIPS 2022 Offline RL Workshop
paper

Intro

O2O存在OOD数据导致价值函数的错误估计，进而导致策略出现performance drop。一些方法例如Off2OnRL采用集成悲观的Q估计方法，缓解分布偏移导致的这种Bootstrapping errors。同时该方法还提出一种Balanced ReplayBuffer将离线数据应用于在线过程。

本文提出的方法UPQ沿用集成悲观Q估计的同时，采用对Q函数加入基于不确信度量的惩罚。

Method

在这里插入图片描述

对集成Q函数以及策略沿用Off2OnRL的方法：
Q θ E ( s , a ) : = 1 N ∑ i = 1 N Q θ i ( s , a ) , π ϕ E ( ⋅ ∣ s ) = N ( 1 N ∑ i = 1 N μ ϕ i ( s ) , 1 N ∑ i = 1 N ( σ ϕ i 2 ( s ) + μ ϕ i 2 ( s ) ) − μ ϕ 2 ( s ) ) , \begin{aligned}Q_\theta^E(s,a)&:=\frac{1}{N}\sum_{i=1}^NQ_{\theta_i}(s,a),\\\pi_\phi^E(\cdot|s)&=\mathcal{N}\bigg(\frac{1}{N}\sum_{i=1}^N\mu_{\phi_i}(s),\quad\frac{1}{N}\sum_{i=1}^N\bigg(\sigma_{\phi_i}^2(s)+\mu_{\phi_i}^2(s)\bigg)-\mu_{\phi}^2(s)\bigg),\end{aligned} QθE​(s,a)πϕE​(⋅∣s)​:=N1​i=1∑N​Qθi​​(s,a),=N(N1​i=1∑N​μϕi​​

最低0.47元/天 解锁文章
TrustGeo: Uncertainty-Aware Dynamic Graph Learning for Trustwort
02-19
"TrustGeo: Uncertainty-Aware Dynamic Graph Learning for Trustworthiness" 是一项研究，旨在引入不确定性处理机制到动态图学习中，以提高模型的信任度。本文将详细介绍TrustGeo框架以及其在PyTorch中的实现。 ...
Offline RL:Pessimistic Bootstrapping for Uncertainty-Driven Offline Reinforcement Learning
wdnmdwsmsa的博客
02-27 952
ICLR 2022。
O2O:Improving Offline-to-Online Reinforcement Learning with Q-Ensemble
wdnmdwsmsa的博客
03-09 605
Q-ensemble 大法好。
NeurIPS 2021: 不确定性驱动损失 图像超分辨率 Uncertainty-Driven Loss for Single Image Super-Resolution
u014546828的博客
06-16 2325
在单图像超分辨率 (SISR) 等低阶视觉中，传统的 MSE 或 L1 损失函数在假设所有像素的重要性相同的前提下，对每个像素一视同仁。然而，在摄影图像中，纹理和边缘区域比平滑区域承载着更重要的视觉信息。如何以一种有原则的方式实现这种空间适应 (spatial adaptation)，在基于模型的方法和基于学习的方法中都是一个开放的问题。 本文提出了一种新的自适应加权损失 (adaptive weighted loss) 的 SISR 方法，针对具有挑战性的情况，如纹理和边缘像素的高度不确定性。.....
图像超分辨 Supper-Resolution
qq_41826940的博客
09-01 842
近邻插值（Nearest Interpolation）双线性插值（Bilinear Interpolation）中心对齐浮点运算→整数运算→左右移按位运算双三次插值（Bicubic Interpolation）问题：棋盘效应反卷积的棋盘格效应只能保证矩阵大小相等，不能完全恢复数值2. 深度学习方法 Single Image Super-Resolution, SISR从SRCNN到EDSR，总结深度学习端到端超分辨率方法发展历程。
cvpr 深度估计_无监督单目视频深度估计中的uncertainty方法(CVPR'20)
weixin_33164198的博客
12-30 1096
Contribution对11种使用uncertainty方法的全面评估深度挖掘uncertainty对depth estimation起到的作用提出一个新颖的self-teaching方法去model uncertainty文中使用的uncertainty estimation分为两个类别：empirical uncertainty estimation和predictive uncertain...
ANY-STEP DYNAMICS MODEL IMPROVES FUTURE PREDICTIONS FOR ONLINE AND OFFLINE REINFORCEMENT LEARNING
qq_33673253的博客
02-28 869
基于模型的强化学习方法通过在动力学模型中进行策略探索，为提高数据效率提供了一种有前景的途径。然而，由于自举预测（将下一个状态归因于当前状态的预测），在动力学模型中准确预测连续步骤仍然是一个挑战，这会导致模型展开过程中的误差累积。在本文中，我们提出了任意步长动力学模型（ADM），通过将自举预测简化为直接预测来减轻复合误差。ADM 允许使用可变长度的计划作为输入来预测未来状态，而无需频繁进行自举预测。我们设计了两种算法，ADMPO-ON 和 ADMPO-OFF，分别将 ADM 应用于在线和离线基于模型的框架中。
NeurIPS | 2018 （2）
u014033218的专栏
04-07 4154
Poster Wed Dec 5th 05:00 -- 07:00 PM @ Room 210 #88 Information-theoretic Limits for Community Detection in Network Models InWed Poster Session B Chuyang Ke · Jean Honorio Paper » Poster Wed...
Offline RL: Uncertainty-Based Offline Reinforcement Learning with Diversified Q-Ensemble
wdnmdwsmsa的博客
02-27 2346
本文首先提出SAC-N算法，发现简单的增加Q函数便可以提高算法sample- efficiency，但是过多的Q导致计算效率较低，且Q网络出现冗余，因此进一步提出了EDAC。而offline RL中数据集是固定的，只需要考虑离线数据，为了防止乐观估计导致Q过高，因此采用Q值估计的置信下界（lower-confidence bound，LCB），例如在Q-ensemble均值上减标准差，这样可以避免高风险的状态动作对。因此，EDAC希望减少N。而(b)中，由于Q梯度的多样性，避免该情况的出现。
Uncertainty Loss不确定损失
热门推荐
weixin_44385551的博客
09-12 1万+
Uncertainty Loss不确定损失 背景：用于multi-task learning多任务学习 论文：Multi-task learning using uncertainty to weigh losses for scene geometry and semantics. 过去：两个子任务的Loss简单加权和。权重是超参数，需要人力调参。 本文思想：权重也作为可训练参数。 具体来说是建模任务间的同方差不确定性 。 （1）多任务学习 多任务学习可以认为是归纳知识迁移，通过共享互补任务的域信息提升泛
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1822
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
信息检索13
2301_80828873的博客
11-26 2178
最近邻检索的方法，PQ，IVF,HNSW
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1163
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
07_Spring AI 干货笔记之提示词
最新发布
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 858
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
RAG信息检索全解析：从Embedding到Reranker的超详细教程1
Trb201013的博客
11-27 1392
文章介绍了RAG系统中信息检索环节的核心技术，包括文档段落嵌入和用户查询嵌入，将文本转换为向量表示；详细解释了相似度检索的多种方法，如Top-K检索、MMR策略和Reranker二次排序技术；强调了合理切分策略对嵌入效果的重要性，以及查询扩展技术对提高检索准确度的作用。指出RAG的本质是"开卷考试"，检索质量直接影响最终生成效果。
【LoRA（低秩适应）技术详解：原理、公式与实践】
m0_46882548的博客
11-26 1628
参数高效：可训练参数量通常仅为全量微调的0.01% - 3%，极大降低了计算和存储成本。内存友好：由于大部分原始权重被冻结，无需存储其优化器状态，显著减少了训练时的显存占用。无推理延迟：训练后可将LoRA权重合并回原模型，推理速度与原始模型一致。模块化与灵活性：一个基础模型可以搭配多个针对不同任务的、体积很小（几兆字节）的LoRA适配器，轻松切换任务。减轻灾难性遗忘：因为原始权重基本不动，模型在适应新任务时更不容易遗忘预训练时获得的通用知识。
【LLM】DeepSeekMath-V2模型
发现问题，并解决问题，批判性思维
11-29 776
研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。 研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。 相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep
卫星遥感落地林草监测：多源数据融合+AI算法
okk202586的博客
11-27 576
全面完善昌吉州林草资源网络感知体系，建立全州林草资源一体化综合管理平台，全面加强林草安全防火监测预警、有害生物防治信息化、林草资源监管能力，实现林草资源、安全防火、有害生物防控、林长制监督管理等。在不同区域、不同场景下的落地能力，案例可以充分说明，智慧林草并非单纯的技术堆砌，而是真正贴合林草业务流程、解决实际问题的“实战型”方案，太空守护林海正在变成可能~根据林草业务需要，建设林长制、资源监管、生态保护、生态修复、灾害防护、科技创新等六类业务系统，构建智慧林草综合监管业务系统体系，全面支撑林草业务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值