O2O:Improving Offline-to-Online Reinforcement Learning with Q-Ensemble

原创 已于 2024-11-25 20:54:28 修改 · 602 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

于 2024-03-09 11:31:20 首次发布
本文探讨了如何在离线学习的保守估计与在线阶段的高效探索间找到平衡，提出了Ensemble-basedO2O算法E2O，利用Q-ensemble策略和不同的Q估计形式，如MinQ、MeanQ等，以提高学习效率并保持训练稳定性。文中还比较了不同优化探索方法，如BootstrappedDQN和OAC/SUNRISE。

ICML workshop 2023
paper
Q-ensemble 大法好

Introduction

保守的离线学习方法在迁移到在线过程中，会由于保守的Q值估计限制智能体在线探索，导致策略缓慢提升；而若不保持保守的估计又容易因为OOD的数据导致Q过估计，进而让学习不稳定。如下图a所示
在这里插入图片描述
如何找到一种方法既能保守估计又能不限制在线探索？Q-ensemble就能给出解决方法。而一系系列的关于基于ensemble Q的估计方法也证明有效。正如上图中a采用CQL-N以及SAC-N结合的O2O方法。图c则则证明ensemble的方式让策略有可选择的动作分布，相较于保守的CQL更为广泛。基于上述发现，本文提出Ensemble-based O2O算法E2O。

Method

Q ensemble

E2O在离线学习阶段，基于CQL算法对target Q设置多个Q估计并选择最小值作为最终结果。如果在线阶段也采用相同ensemble估计形式，虽然不会出现performance drop,渐进稳定性也较好。但是无法快速改进。因此，下面重点转移到分析我们是否可以适当地放松在线阶段Q值的悲观估计，以进一步提高学习效率，同时确保稳定的训练。

在这里插入图片描述

最低0.47元/天 解锁文章
O2O:Uncertainty-Driven Pessimistic Q-Ensemble for Offline-to-Online Reinforcement Learning
wdnmdwsmsa的博客
03-27 1131
O2O存在OOD数据导致价值函数的错误估计，进而导致策略出现performance drop。一些方法例如Off2OnRL采用集成悲观的Q估计方法，缓解分布偏移导致的这种Bootstrapping errors。同时该方法还提出一种Balanced ReplayBuffer将离线数据应用于在线过程。本文提出的方法UPQ沿用集成悲观Q估计的同时，采用对Q函数加入基于不确信度量的惩罚。
O2O:Adaptive policy learning for offline-to-online reinforcement learning
wdnmdwsmsa的博客
03-07 1164
AAAI2023。
IJCAI2024: 基于集成网络的离线到在线强化学习
bilibili_TC的博客
12-06 1942
在IJCAI 2024上，哔哩哔哩人工智能平台部联合天津大学将集成Q网络（Q-ensembles）引入到离线到在线强化学习训练范式中，提出了基于集成网络的离线到在线强化学习训练框架。
O2O:Actor-Critic Alignment for Offline-to-Online Reinforcement Learning
wdnmdwsmsa的博客
03-05 857
为了避免这些复杂操作，本文并不采用以往AC方法对Q值进行变形，而是对离线策略进行对齐，即使面对离线策略外的动作的Q值依旧能被限制。Q值由于OOD的存在可能存在错误估计，但是策略是值得信赖的。得益于对齐步骤，天然忽略了离线阶段优化的Q值，避免使用离线阶段错误的Q导致在线阶段的崩溃。方法的核心来自于SAC的策略表示，它与Q值softmax操作密切相关，该形式让策略与Q值联系在一起。由上图可知，对齐后的策略能够有更好的性能表现，第二张图也展示策略与Q的对齐效果。离线阶段优化的策略通常表现良好，记作。
【论文分享】如何完成 Offline RL 的在线部署？工业界应用必不可少！！
yxh的博客
10-13 1001
1、利用 VAE 的 Log-likelihood 可视化 两个数据集分布之间的差异的trick可以借鉴；2、思路简单易懂、还有效……提出了一个简单的框架，包括balanced replay scheme和pessimistic Q-ensemble scheme，这两个在 offline RL 进行 online 部署的时候回非常有用，尤其是采 pessimistic Q-value 对 novel states 进行评价。
真 离线强化学习《An Optimistic Perspective on Offline Reinforcement Learning》阅读笔记
hehedadaq的博客
07-25 2445
真 离线强化学习《An Optimistic Perspective on Offline Reinforcement Learning》阅读笔记 文章目录真 离线强化学习《An Optimistic Perspective on Offline Reinforcement Learning》阅读笔记前言：和TD3作者对线咨询作者：同配置，在线vs离线，到底谁更好？强化的分类，不仅是off-policy 和 on-policy参考链接：一. 论文简介1. 作者：2. 期刊杂志：3. 引用数：4. 论文背景，
离线强化学习：行为规范 Actor-Critic (BRAC) 算法
小蜗牛的珍贵百宝箱
10-12 1155
离线强化学习（Offline Reinforcement Learning）是指在没有与环境交互的情况下，通过利用历史数据进行策略学习的一种方法。与在线学习相比，离线学习更为实用，因为在许多应用场景中，实时与环境的交互可能既昂贵又不安全。在离线强化学习中，行为规范 Actor-Critic（Behavior Regularized Actor-Critic, BRAC）算法是一种有效的方法，它通过引入行为约束来提高策略的稳定性和性能。BRAC 算法在离线强化学习中，通过引入行为规范来提高策略的稳定性和性能。
强化学习算法复现（四）：online/offline_forward/backward_TD(λ)的价值预测能力_随机游走问题
qq_42138927的博客
12-12 726
import numpy as np from tqdm import tqdm import matplotlib import matplotlib.pyplot as plt plt.rcParams['font.sans-serif'] = ['SimHei'] # 正确显示中文 plt.rcParams['axes.unicode_minus'] = False # 正确显示正负号 from TD1 import * N_STATES = 19 # 共有19个状态 GAMMA = 1
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 927
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
信息检索13
2301_80828873的博客
11-26 1709
最近邻检索的方法，PQ，IVF,HNSW
向量嵌入：RAG系统背后的语义引擎
最新发布
uncle_ll的博客
11-29 497
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
【LoRA（低秩适应）技术详解：原理、公式与实践】
m0_46882548的博客
11-26 1245
参数高效：可训练参数量通常仅为全量微调的0.01% - 3%，极大降低了计算和存储成本。内存友好：由于大部分原始权重被冻结，无需存储其优化器状态，显著减少了训练时的显存占用。无推理延迟：训练后可将LoRA权重合并回原模型，推理速度与原始模型一致。模块化与灵活性：一个基础模型可以搭配多个针对不同任务的、体积很小（几兆字节）的LoRA适配器，轻松切换任务。减轻灾难性遗忘：因为原始权重基本不动，模型在适应新任务时更不容易遗忘预训练时获得的通用知识。
RAG信息检索全解析：从Embedding到Reranker的超详细教程1
Trb201013的博客
11-27 1056
文章介绍了RAG系统中信息检索环节的核心技术，包括文档段落嵌入和用户查询嵌入，将文本转换为向量表示；详细解释了相似度检索的多种方法，如Top-K检索、MMR策略和Reranker二次排序技术；强调了合理切分策略对嵌入效果的重要性，以及查询扩展技术对提高检索准确度的作用。指出RAG的本质是"开卷考试"，检索质量直接影响最终生成效果。
【LLM】DeepSeekMath-V2模型
发现问题，并解决问题，批判性思维
11-29 586
研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。 研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。 相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep
卫星遥感落地林草监测：多源数据融合+AI算法
okk202586的博客
11-27 439
全面完善昌吉州林草资源网络感知体系，建立全州林草资源一体化综合管理平台，全面加强林草安全防火监测预警、有害生物防治信息化、林草资源监管能力，实现林草资源、安全防火、有害生物防控、林长制监督管理等。在不同区域、不同场景下的落地能力，案例可以充分说明，智慧林草并非单纯的技术堆砌，而是真正贴合林草业务流程、解决实际问题的“实战型”方案，太空守护林海正在变成可能~根据林草业务需要，建设林长制、资源监管、生态保护、生态修复、灾害防护、科技创新等六类业务系统，构建智慧林草综合监管业务系统体系，全面支撑林草业务。
【人工智能】【深度学习】 ② GAN核心算法介绍：生成器与判别器的博弈艺术
xiezhiyi007的专栏
11-27 748
本文为【人工智能】【深度学习】系列第②篇，深入浅出讲解生成对抗网络（GAN）的核心原理。从“造假者 vs 警察”的大白话比喻出发，逐步推导极小极大博弈公式，详解生成器与判别器的对抗机制，并对比 CNN、RNN 的本质差异。附带完整 PyTorch 代码实现（逐行注释），涵盖 DCGAN 架构、训练流程与工程技巧，适合零基础读者入门生成式 AI。结尾预告下一期 Transformer 主题，延续系统化学习路线。
YOLOv8训练过程日志-深度解析
搏博的专栏
11-28 821
特别值得注意的是不同类别的性能差异：phone类别的召回率达到0.462，明显高于car类别的0.286，这可能源于两个类别在训练数据中的分布差异、目标特征的明显程度等因素。值得注意的是，损失函数的下降过程并非单调的，而是存在一定的波动，这是梯度下降优化的正常现象。值得注意的是，虽然训练提前停止，但模型已经学习到了有意义的特征表示，这为后续的微调或迁移学习奠定了基础。的训练中，这些指标虽然数值较低，但这在小型数据集和有限训练时间的条件下是正常的，重要的是观察这些指标在训练过程中的变化趋势。
【深度学习新浪潮】什么是自监督学习？
智能守恒_HengAI
11-26 209
编码器：ResNet18（去掉最后一层全连接）self.encoder.fc = nn.Identity() # 移除分类头# 投影头：两层MLPnn.Linear(512, 256), # ResNet18输出512维特征nn.ReLU(),# 归一化特征（计算余弦相似度用）自监督学习的核心价值在于**“用无标注数据学习通用特征”**，它打破了“标注依赖”的瓶颈，是通向通用人工智能的关键路径之一。多模态自监督：融合图像、文本、语音的跨模态预训练（如CLIP）；高效预训练。
Product Hunt 每日热榜 | 2025-11-28
LaughingZhu的博客
11-28 448
Product Hunt 每日热榜 | 2025-11-28 Links 2.0 是一款全新设计的应用程序，旨在帮助你在各个设备之间保存、整理和查找链接。这款为 iOS 26 打造的应用引入了新的导航栏，全新的首页展示最近链接，增强的过滤功能，个性化的主题色，以及全新的设置界面和应用图标。它默认保护隐私，支持 iCloud 同步，使用起来无需注册账户或担心被追踪。
Removal and selection: Improving RGB-infrared object detection via coarse-to-fine fusion
07-24
在RGB-红外目标检测中，为了提升多模态信息的融合效果，采用从粗到细的融合方法（Coarse-to-Fine Fusion）是一种有效的策略。这一方法的核心思想是模拟人类大脑在处理多模态信息时的过滤与选择机制，即先去除干扰信息，再进行特征的精细选择，从而实现互补特征的有效融合[^1]。 ### 冗余光谱去除（RSR）模块 在“粗”阶段，设计了冗余光谱去除（Redundant Spectrum Removal, RSR）模块。该模块通过将图像转换到频域空间，并引入动态滤波器，以自适应地减少RGB和IR模态中不相关的频谱。这样可以初步过滤掉不必要的冗余信息，保留对目标检测有帮助的关键频谱[^1]。例如，在频域中应用动态滤波器时，可以通过以下代码实现频谱的自适应调整： ```python import numpy as np import cv2 def apply_dynamic_filter(image): # 将图像转换为频域 f = np.fft.fft2(image) fshift = np.fft.fftshift(f) # 动态滤波器设计 rows, cols = image.shape crow, ccol = rows // 2, cols // 2 mask = np.ones((rows, cols), np.uint8) mask[crow - 30:crow + 30, ccol - 30:ccol + 30] = 0 # 动态调整滤波区域 # 应用滤波器 fshift_filtered = fshift * mask f_ishift = np.fft.ifftshift(fshift_filtered) img_back = np.fft.ifft2(f_ishift) img_back = np.abs(img_back) return img_back ``` ### 动态特征选择（DFS）模块 在“细”阶段，设计了动态特征选择（Dynamic Feature Selection, DFS）模块，用于在RGB和IR模态之间精细选择所需的特征。该模块通过探索不同尺度特征的组合，权衡对象检测所需的不同尺度信息，从而进一步提升检测性能。DFS模块能够根据任务需求，自适应地选择最相关的特征，确保最终融合的特征具有更强的判别能力[^1]。 ### 去除与选择检测器（RSDet） 为了验证该融合策略的有效性，构建了一个新的目标检测框架——去除与选择检测器（Removal and Selection Detector, RSDet）。该框架嵌入了从粗到细的融合策略，能够在RGB-红外目标检测任务中实现更优的性能表现。在多个公开的RGB-红外检测数据集上的实验结果表明，RSDet能够有效促进互补融合，并达到了当前最先进的性能水平[^3]。 ### 改进方向 为了进一步提升RGB-红外目标检测的效果，可以从以下几个方面进行改进： - **更精细的频谱分析**：在RSR模块中引入更复杂的频谱分析方法，例如基于深度学习的频谱注意力机制，以提高频谱过滤的精度。 - **多尺度特征融合**：在DFS模块中引入多尺度特征金字塔网络（Feature Pyramid Network, FPN），以更好地捕捉不同尺度的目标特征。 - **端到端优化**：将整个融合过程设计为端到端可训练的结构，使RSR和DFS模块能够协同优化，提升整体检测性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值