Cross Q: Batch Normalization in Deep Reinforcement Learning for Greater Sample Efficiency and...

最新推荐文章于 2025-12-01 19:45:15 发布
原创 最新推荐文章于 2025-12-01 19:45:15 发布 · 1.3k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

本文提出CrossQ算法，通过移除TargetQ网络和使用Tanh/BatchNormalization，结合SAC，在UTD=1条件下达到样本效率的最优表现。同时，拓宽Q网络结构也显著提高了算法性能。

ICLR 2024 spotlight
paper

Introduction

提高智能体Sample efficiency是强化学习关键问题。REDQ以及DroQ通过提高UTD有效实现。本文提出的Cross Q利用Batch Normalization以及移除target Q的设定，结合SAC进一步提升算法的sample efficiency，在UTD=1也能达到SOTA表现。

Method

REMOVING TARGET NETWORKS

SAC中使用target Q并延迟soft update，虽然稳定更新但在一定程度减缓更新。本文通过实验指出，相较于以往的Q网络利用relu激活函数，移除targetQ并使用有界激活函数(Tanh)或特征归一化器(Batch Normalization)足以防止在没有目标网络的情况下的临界发散。
在这里插入图片描述
移除target Q后的，基于均方Bellman误差对Q进行跟新的损失函数，对比以往的方法如下
在这里插入图片描述
此时Q网络的输入为连续的两个状态及其动作，特别的 A t + 1 ∼ π ϕ ( S t +

最低0.47元/天 解锁文章
THE WISDOM OF THE CROWD: RELIABLE DEEP REINFORCEMENT LEARNING THROUGH ENSEMBLES OF Q--FUNCTIONS
weixin_41697507的博客
06-27 1308
ABSTRACT Reinforcement learning agents learn by exploring the environment and then ex-ploiting what they have learned. This frees the human trainers from having to know the preferred action or intrins...
Relational inductive biases, deep learning, and graph networks（关系归纳偏差、深度学习和图形网络）
weixin_41697507的博客
07-15 5265
Relational inductive biases, deep learning, and graph networks Peter W. Battaglia1, Jessica B. Hamrick1, Victor Bapst1, Alvaro Sanchez-Gonzalez1, Vinicius Zambaldi1, Mateusz Malinowski1, Andrea Tacche...
强化学习论文CrossQ
m0_48662971的博客
05-31 399
本文提出CrossQ方法，通过修改SAC算法提升深度强化学习的样本效率。主要改进包括：1）去除目标网络并批量归一化(BatchNorm)；2）使用更宽的Critic网络提高优化效率。实验表明，相比REDQ和DroQ等方法，CrossQ在保持更新时间数据比例为1的同时，显著降低了计算成本并提高了样本效率。该方法简化了网络结构，解决了BatchNorm在测试时分布偏移时预测质量下降的问题，为深度强化学习提供了更高效的解决方案。
BGU Deep Reinforcement Learning final examination review
爱安敝之的博客
02-25 1204
2022 Bengurion university Deep Reinforcement learning course conclusion.
cp18_Reinforcement Learning for Markov Decision Making in Env_Bellman_Q-learning_Q-Value Iteration
Linli522362242的专栏
07-15 3070
In the previous chapters, we focused on supervised and unsupervised machine learning. We also learned how to leverage artificial neural networks and deep learning to tackle problems encountered with these types of machine learning. As you'll recall, s...
[C4] Andrew Ng - Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimizat...
weixin_30384217的博客
04-14 1570
About this Course This course will teach you the "magic" of getting deep learning to work well. Rather than the deep learning process being a black box, you will understand what drives performance, an...
LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca-4月17日版/旧版》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-01 2787
​ LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca-4月17日版》翻译与解读 目录 相关文章 《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca》翻译与解读 ABSTRACT 1、INTRODUCTION 2、Chinese Llama 3、Chinese Alpaca 4、Parameter Effici
LLMs：《Efficient And Effective Text Encoding For Chinese Llama And Alpaca—6月15日版本》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-21 1548
​ LLMs：《Efficient And Effective Text Encoding For Chinese Llama And Alpaca—6月15日版本》翻译与解读 目录 《Efficient And Effective Text Encoding For Chinese Llama And Alpaca—6月15日版本》翻译与解读 ABSTRACT 1、Introduction 2、Chinese Llama And Chinese Alpaca
Deep Learning in Autonomous Driving Cars
qq_40842609的博客
06-03 1941
Deep Learning in Autonomous Driving Cars Forewords:Section 1: Introduction to autonomous driving technologySection 2: Application of deep learning algorithms in autonomous driving2.1 Application of convolutional neural networks in environmental perception2
Transfer learning using TensorFlow Hub and Keras Application
AI天才研究院
08-02 995
计算机视觉和自然语言处理是人工智能领域里一个重要且热门的方向。随着近几年的人工智能模型在图像分类、目标检测、文本识别等任务上取得了不俗的成绩，越来越多的人开始关注如何将这些模型应用到其他的领域中。比如深度学习框架TensorFlow已经发布了TFHub，通过该项目可以实现跨平台的模型共享与迁移学习。本文通过Keras Applications库以及TFHub中的ResNet50模型，实现图片的分类任务。
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1190
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1826
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
07_Spring AI 干货笔记之提示词
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 1039
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
RAG信息检索全解析：从Embedding到Reranker的超详细教程1
Trb201013的博客
11-27 1414
文章介绍了RAG系统中信息检索环节的核心技术，包括文档段落嵌入和用户查询嵌入，将文本转换为向量表示；详细解释了相似度检索的多种方法，如Top-K检索、MMR策略和Reranker二次排序技术；强调了合理切分策略对嵌入效果的重要性，以及查询扩展技术对提高检索准确度的作用。指出RAG的本质是"开卷考试"，检索质量直接影响最终生成效果。
【LLM】DeepSeekMath-V2模型
发现问题，并解决问题，批判性思维
11-29 793
研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。 研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。 相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep
LMM-Det：让大型多模态模型在目标检测中脱颖而出
AI浩
12-01 728
大型多模态模型因其在多模态理解、推理和上下文学习等方面的卓越能力，在人工智能研究和工业界引起了广泛的关注和兴趣。虽然 LMM 在图像描述、视觉问答和视觉定位等多模态任务上已展现出有前景的结果，但其目标检测能力与专业检测器相比仍存在显著差距。为弥补这一差距，我们摒弃了将重型检测器与 LMM 集成的传统方法，提出了 LMM-Det，这是一种简单而有效的方法，它利用大型多模态模型进行纯目标检测，而无需依赖专门的检测模块。
昇腾平台 vLLM 部署与性能优化实战：高吞吐推理落地指南
最新发布
二哈喇子！
12-01 2702
昇腾平台vLLM部署与性能优化实战摘要
卫星遥感落地林草监测：多源数据融合+AI算法
okk202586的博客
11-27 586
全面完善昌吉州林草资源网络感知体系，建立全州林草资源一体化综合管理平台，全面加强林草安全防火监测预警、有害生物防治信息化、林草资源监管能力，实现林草资源、安全防火、有害生物防控、林长制监督管理等。在不同区域、不同场景下的落地能力，案例可以充分说明，智慧林草并非单纯的技术堆砌，而是真正贴合林草业务流程、解决实际问题的“实战型”方案，太空守护林海正在变成可能~根据林草业务需要，建设林长制、资源监管、生态保护、生态修复、灾害防护、科技创新等六类业务系统，构建智慧林草综合监管业务系统体系，全面支撑林草业务。
【人工智能】【深度学习】 ② GAN核心算法介绍：生成器与判别器的博弈艺术
xiezhiyi007的专栏
11-27 1000
本文为【人工智能】【深度学习】系列第②篇，深入浅出讲解生成对抗网络（GAN）的核心原理。从“造假者 vs 警察”的大白话比喻出发，逐步推导极小极大博弈公式，详解生成器与判别器的对抗机制，并对比 CNN、RNN 的本质差异。附带完整 PyTorch 代码实现（逐行注释），涵盖 DCGAN 架构、训练流程与工程技巧，适合零基础读者入门生成式 AI。结尾预告下一期 Transformer 主题，延续系统化学习路线。
Unknown layer: BatchNormalization.
01-31
### 如何解决 TensorFlow 中 `Unknown layer: BatchNormalization` 错误 当遇到 `Unknown layer: BatchNormalization` 的错误时，通常是因为加载模型的过程中未能正确识别自定义层或特定版本差异引起的。为了有效...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值