O2O:Offline–Online Actor–Critic

最新推荐文章于 2025-12-03 20:31:34 发布
原创 最新推荐文章于 2025-12-03 20:31:34 发布 · 832 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #算法 #机器学习 #深度学习

IEEE TAI 2024
paper
加权TD3_BC

Method

离线阶段，算法基于TD3_BC，同时加上基于Q函数的权重函数，一定程度上避免了过估计
J o f f l i n e ( θ ) = E ( s , a ) ∼ B [ ζ Q ϕ ( s , π θ ( s ) ) ] − ∥ π θ ( s ) − a ∥ 2 \begin{aligned}J_{\mathrm{offline}}(\boldsymbol{\theta})&=\mathbb{E}_{(\boldsymbol{s},\boldsymbol{a})\sim\mathcal{B}}\left[\zeta Q_{\boldsymbol{\phi}}(\boldsymbol{s},\pi_{\boldsymbol{\theta}}(\boldsymbol{s}))\right]-\left\|\pi_{\boldsymbol{\theta}}(\boldsymbol{s})-\boldsymbol{a}\right\|^{2}\end{aligned} Joffline​(θ)​=E(s,a)∼B​[ζQϕ​(s,πθ​(s))]−∥πθ​(s)−

最低0.47元/天 解锁文章
O2O:Improving Offline-to-Online Reinforcement Learning with Q-Ensemble
wdnmdwsmsa的博客
03-09 605
Q-ensemble 大法好。
O2O:Sample Efficient Offline-to-Online Reinforcement Learning
wdnmdwsmsa的博客
03-08 813
文章提出OEMA算法首先使用离线数据训练乐观的探索策略，然后提出基于元学习的优化方法，减少分布偏移并提高O2O的适应过程。然而，由于目标策略通过策略改进不断更新，这种基于行为克隆的惩罚项无法缩小行为策略和目标策略之间的差距，违反了带约束的原问题。接着，为了解决在线微调存在的分布偏移问题，采用元学习的方法。中间的偏导自然是由meta-test小节的损失函数所得到的meta_actor_loss。上述问题在保证策略约束的同时选择高不确信的动作。为了解决该问题，提出在TD3的行为策略上增加一项扰动模型。
强化学习模型对比（强化学习3）
weixin_49379140的博客
01-04 2875
可以看到，正常的 Q-learning 是对于所有的 action 去最大的 Q，而这里是对于从生成模型 G 中采样得到若干个行动，然后再做扰动，由此得到的一系列 action 中找一个 Q 值最大的。这样，我们评估（s, a）时，我们就可以把critic对 s 的评估结果就是 s 状态后续能获得的折扣期望，也就是我们的基线。注意哈：优势函数中，前一半是实际数据中的折扣期望，后一半是估计的折扣期望（critic心中认为s应该得到的分数，即critic对s的期望奖励），a'是在新状态s'下的最优动作。
O2O:Offline Meta-Reinforcement Learning with Online Self-Supervision
wdnmdwsmsa的博客
03-07 1162
ICML 2022。
O2O:Actor-Critic Alignment for Offline-to-Online Reinforcement Learning
wdnmdwsmsa的博客
03-05 859
为了避免这些复杂操作，本文并不采用以往AC方法对Q值进行变形，而是对离线策略进行对齐，即使面对离线策略外的动作的Q值依旧能被限制。Q值由于OOD的存在可能存在错误估计，但是策略是值得信赖的。得益于对齐步骤，天然忽略了离线阶段优化的Q值，避免使用离线阶段错误的Q导致在线阶段的崩溃。方法的核心来自于SAC的策略表示，它与Q值softmax操作密切相关，该形式让策略与Q值联系在一起。由上图可知，对齐后的策略能够有更好的性能表现，第二张图也展示策略与Q的对齐效果。离线阶段优化的策略通常表现良好，记作。
O2O:DCAC: Reducing Unnecessary Conservatism in Offline-to-online Reinforcement Learning
wdnmdwsmsa的博客
05-25 831
DAI 2023。
O2O ：SUF: Stabilized Unconstrained Fine-Tuning for Offline-to-Online Reinforcement Learning
wdnmdwsmsa的博客
05-31 620
AAAI 2024。
O2O:Adaptive policy learning for offline-to-online reinforcement learning
wdnmdwsmsa的博客
03-07 1169
AAAI2023。
O2O:Uncertainty-Driven Pessimistic Q-Ensemble for Offline-to-Online Reinforcement Learning
wdnmdwsmsa的博客
03-27 1133
O2O存在OOD数据导致价值函数的错误估计，进而导致策略出现performance drop。一些方法例如Off2OnRL采用集成悲观的Q估计方法，缓解分布偏移导致的这种Bootstrapping errors。同时该方法还提出一种Balanced ReplayBuffer将离线数据应用于在线过程。本文提出的方法UPQ沿用集成悲观Q估计的同时，采用对Q函数加入基于不确信度量的惩罚。
TensorRT笔记（5）：研究timingCache
ouliten的博客
12-02 635
在里出现了大量的timingCache，但是当时没有取研究这是干啥的，本文就来解析一下。样例都基于上面的文章。
大模型应用：大模型 MapReduce 全解析：核心概念、中文语料示例实现.12
minhuan的专栏
12-03 717
本文介绍了MapReduce编程模型及其在大模型训练中的应用。MapReduce通过"分治-并行-聚合"思想处理大规模数据，传统Hadoop MapReduce侧重结构化数据计算，而大模型MapReduce则针对自然语言处理任务。文章详细对比了两者在架构、处理对象和核心算力等方面的差异，并提供了中文词频统计的Python实现示例，包括单机版和分布式版本。分布式实现利用多进程模拟集群计算，展示了数据分片、Map、Shuffle和Reduce的完整流程。
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1428
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
07_Spring AI 干货笔记之提示词
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 1634
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
【LLM】DeepSeekMath-V2模型
发现问题，并解决问题，批判性思维
11-29 1424
研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。 研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。 相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep
【AI是否能替代IT从业者？】
最新发布
博文致力于人工智能算法的探索研究；前后端分离项目的技术分享交流；专升本计算机基础课程内容讲解；各种中间件技术分享
12-03 542
2025年IT行业面临AI深度重构：基础开发、测试、运维岗位替代率超60%，但AI相关新兴岗位激增380%。人类在复杂系统设计、伦理决策和跨界融合领域仍具不可替代性。微软等企业实践显示，人机协作可使效率提升40%。从业者需转型高价值领域（如Agent开发、大模型工程），掌握"技术+领域"双轨能力。AI本质是职业生态重构器，持续学习者的薪资溢价可达150%。建议立即评估岗位AI暴露指数，优先学习分布式架构优化、多智能体开发等技能。
AI驱动的网联自动驾驶汽车网络安全测试方法
NewCarRen的博客
12-03 640
本文综述了网联自动驾驶汽车(CAV)网络安全测试面临的挑战与解决方案。随着CAV普及，网络攻击风险加剧，现有渗透测试方法面临测试环境成本高、专业人才匮乏等挑战。研究表明，人工智能(AI)在传统行业渗透测试中展现出缩短时间、提高效率的优势，但在CAV领域应用仍存在明显缺口。文章重点分析了强化学习等AI算法在渗透测试中的应用潜力，指出创建仿真环境是测试AI模型有效性的可行方案。开源工具VEINS被推荐为合适的仿真平台，其Python/C++接口便于AI模型集成。研究认为，若证实AI方法有效，可扩展应用于完整CA
概率单位回归（Probit Regression）详解
拒绝AI玄学，只聊真技术▲
11-28 1061
概率单位回归（）是一种基于正态分布累积函数的广义线性模型，专门用于分析二分类因变量与自变量之间的关系。该模型假设事件发生概率服从标准正态分布，通过回归系数建立解释变量与概率值的线性关系，输出结果表现为0-1之间的概率值。Probit回归作为统计学和机器学习中的重要工具，通过连接概率世界和正态分布，为分析二元响应数据提供了强大的方法论基础。从Bliss在1934年开创性的工作到Rosett和Nelson在1975年的扩展，Probit模型已在经济学、医学、生态学和市场营销等多个领域证明了其价值。💡。
智镜随行：基于Rokid CXR-M SDK的智能眼镜无障碍辅助系统开发实践
Rqaqedamancy的博客
11-28 825
摘要： 本文介绍了基于Rokid CXR-M SDK开发的视障辅助系统「智镜随行」，通过AR眼镜与手机的协同实现无障碍辅助功能。系统利用眼镜端采集第一视角图像与语音，手机端调用多模态AI模型（OCR、目标检测、大语言模型）进行环境理解，并将结构化信息通过TTS实时反馈给用户。采用三层架构设计，结合蓝牙/Wi-Fi双通道通信，实现低延迟交互。开发中严格遵循SDK接口规范，完成设备连接、图像处理、语音交互等核心功能模块，为视障人士提供实时环境感知与导航辅助，展示了Rokid生态在普惠科技领域的应用潜力。
抖音灵感重生计划
yesyesido的博客
12-01 851
水印不应是创意的终点，而是再创作的起点。
IMS计费系统R-IMS： Offline/Online架构与用户标识解析
"本文主要介绍了Offline/Online计费系统R-IMS系统架构和基本原理，特别是与IMS用户标识相关的概念。IMS系统是IP多媒体子系统（IP Multimedia Subsystem）的一部分，用于提供各种多媒体服务。在IMS中，用户通过特定的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值