Sample efficiency ：Dropout Q-Functions for Doubly Efficient Reinforcement Learning

原创 已于 2024-02-27 20:07:29 修改 · 954 阅读 · 28 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

于 2024-02-27 20:06:24 首次发布
本文介绍了一种新的强化学习算法DropoutQ，它在REDQ的基础上引入随机dropout和层归一化，以提高算法的样本效率。DropoutQ通过减少集成Q模型的数量，同时保持计算效率，与REDQ相比有更高的性能优化。

ICLR2022
paper
code

Introduction

update-to-date（UTD）指智能体更新次数与环境交互次数的比值。高UTD能够在较少交互步数下多次更新Q价值，进而帮助提高算法的sample efficiency，例如MBPO的UTD在20-40。REDQ则是利用Q集成，实现在model-free下的高UTD。然而集成Q在SAC的计算效率（computational efficiency）较低，因此本文在REDQ基础提出Dropout Q、在一个较少数量的集成Q模型中,对价值网络添加随机dropout以及layer normalization，进一步提高算法的sample efficiency。

Method

在这里插入图片描述
在这里插入图片描述

算法维持M个 Q D r Q_{Dr} QDr​网络，网络结构中包含Dropout以及Layer Normalization。
在REDQ中，对target Q的估计是从N个不带Dropout的Q函数中，随机sample出M个预测值，选取其最小值作为估计的target_Q。而DroQ则是直接设置M个 Q D r Q_{Dr} QDr

最低0.47元/天 解锁文章
CVPR2022论文列表（中英对照）
dovings的博客
07-04 2万+
CVPR论文列表，中英对照
ICML 2018 paper(oral)
qq_34848537的博客
10-08 5488
参考链接 icml 2018 oral Paperlist Optimal Tuning for Divide-and-conquer Kernel Ridge Regression with Massive Data Predict and Constrain: Modeling Cardinality in Deep Structured Prediction Transfer Learn...
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
ICML 2017 paper
qq_34848537的博客
10-08 2432
参考链接 icml 2017 acceptedPaper Paperlist Relative Fisher Information and Natural Gradient for Learning Large Modular Models Priv’IT: Private and Sample Efficient Identity Testing Being Robust (in High...
【2011-2016】 NIPS汇总 - Advances in Neural Information Processing Systems
Testing的博客
10-02 1万+
Advances in Neural Information Processing Systems 24 (NIPS 2011) The papers below appear in Advances in Neural Information Processing Systems 24 edited by J. Shawe-Taylor and R.S. Zemel and P.L.
ICML 2019 Accepted Papers (Title, Author, Abstract, Code) (001-150)
qq280929090的专栏
07-14 6002
Title: Author: Abstract: Title: Author: Abstract: Title: Author: Abstract: Title: Author: Abstract: Title: Author: Abstract: Title: Author: Abstract: Title: Author: Abstract: Title: Author: Abstract: ...
顶会速递 | ICLR 2020录用论文全集
语言智能技术笔记簿
03-10 1万+
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
【ICLR2019】Poster 论文汇总
TomRen
03-26 5118
ICLR2019 poster papers 汇总
人脸识别一
AI+机器人
02-28 7749
awesome-Face_Recognition this collecting the papers (main from arxiv.org) about bellow themes: Face Detection && Face Segmentation; Face Alignment; Face Recognition && Face Identification && Face Verification && Face Repre
Self2Self With Dropout: Learning Self-Supervised Denoising From Single Image【使用单张图像进行自监督学习去噪】
一只黑猩猩
10-15 5664
文章目录Self2Self With Dropout: Learning Self-Supervised Denoising From Single Image【使用单张图像进行自监督学习去噪】一、相关概念1.1 监督学习（Supervised learning）1.2 无监督学习（Unsupervised learning）1.3 自监督学习（Self-Supervised learning）二、研究概述2.1 研究背景2.2 研究现状与问题2.3 研究内容2.4 研究结论三、研究方法3.1 模型3.2
【论文阅读】GraphCL：Contrastive Self-Supervised Learning of Graph Representations
cziun的博客
07-30 4630
图表示的对比自监督学习摘要1 引言2 方法2.1 背景情况2.2 GraphCL2.3 GraphCL概述3 实验 摘要 本文提出了图对比学习（GraphCL），一个以自监督方式学习节点表示的一般框架。GraphCL 通过最大化同一节点局部子图的内在特征和链接结构的两个随机扰动版本的表示之间的相似性来学习节点嵌入。我们使用GNN生成同一节点的两种表示，并利用对比学习损失来最大化它们之间的一致性。在transductive和inductive学习设置中，我们证明了我们的方法在许多节点分类基准上显著优于最新的无
论文笔记--ActionVLAD: Learning spatio-temporal aggregation for action classification
Never-guess的博客
05-17 3250
介绍 这是去年CVPR2017的一篇动作分类的文章，代码链接如下： http://rohitgirdhar.github.io/ActionVLAD 这篇文章在时空上分别独立提取特征，然后做pooling聚合，采用了一种VLAD的pooling方法，端到端的训练，主要解决两个疑惑：1.如何聚合视频帧之间的特征来表示整个视频。2.在多流网络中(例如two-stream)里面如何整合不同流(双流...
CPM:A large-scale generative chinese pre-trained lanuage model
liguandong
07-29 3143
Easy-to-useCPMforChinesetextgeneration（基于CPM的中文文本生成）-GitHub-yangjianxin1/CPMEasy-to-useCPMforChinesetextgeneration（基于CPM的中文文本生成）CPM的词汇表有3w个。丰富的中文训练数据，中文数据其实比较好搞，直接网上爬就可以，git上作为提供了一个作文预训练的模型，在这个预训练模型上finetune效果也不错，我的训练数据大概有7-8w的标题-文本对数据。......
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1221
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1829
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
07_Spring AI 干货笔记之提示词
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 1112
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
RAG信息检索全解析：从Embedding到Reranker的超详细教程1
Trb201013的博客
11-27 1446
文章介绍了RAG系统中信息检索环节的核心技术，包括文档段落嵌入和用户查询嵌入，将文本转换为向量表示；详细解释了相似度检索的多种方法，如Top-K检索、MMR策略和Reranker二次排序技术；强调了合理切分策略对嵌入效果的重要性，以及查询扩展技术对提高检索准确度的作用。指出RAG的本质是"开卷考试"，检索质量直接影响最终生成效果。
【LLM】DeepSeekMath-V2模型
发现问题，并解决问题，批判性思维
11-29 837
研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。 研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。 相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep
LMM-Det：让大型多模态模型在目标检测中脱颖而出
最新发布
AI浩
12-01 738
大型多模态模型因其在多模态理解、推理和上下文学习等方面的卓越能力，在人工智能研究和工业界引起了广泛的关注和兴趣。虽然 LMM 在图像描述、视觉问答和视觉定位等多模态任务上已展现出有前景的结果，但其目标检测能力与专业检测器相比仍存在显著差距。为弥补这一差距，我们摒弃了将重型检测器与 LMM 集成的传统方法，提出了 LMM-Det，这是一种简单而有效的方法，它利用大型多模态模型进行纯目标检测，而无需依赖专门的检测模块。
VSA: Learning Varied-Size Window Attention in Vision Transformers论文代码
08-28
目前没有直接提供VSA（Learning Varied-Size Window Attention in Vision Transformers）论文的开源代码信息[^1]。建议关注相关作者的官方发布渠道或学术平台，例如arXiv或Google Scholar，以获取最新更新[^2]。此外，可以查阅GitHub上的Vision Transformer相关项目，尝试联系开发者或社区以获得帮助[^3]。 ### 代码示例（参考Swin Transformer实现风格） 以下是一个模拟的代码框架，可用于实现类似VSA中可变尺寸窗口注意力机制的部分逻辑： ```python import torch import torch.nn as nn class VariedSizeWindowAttention(nn.Module): def __init__(self, dim, window_sizes, num_heads, qkv_bias=True, attn_drop=0., proj_drop=0.): super().__init__() self.dim = dim self.window_sizes = window_sizes # 支持不同窗口尺寸的列表 self.num_heads = num_heads # 动态生成不同窗口大小的相对位置偏置 self.relative_position_biases = nn.ParameterList([ nn.Parameter(torch.zeros((2 * w - 1) * (2 * h - 1), num_heads)) for w, h in window_sizes ]) # 查询、键、值的线性变换 self.qkv = nn.Linear(dim, dim * 3, bias=qkv_bias) self.attn_drop = nn.Dropout(attn_drop) self.proj = nn.Linear(dim, dim) self.proj_drop = nn.Dropout(proj_drop) def forward(self, x, H, W): B, N, C = x.shape qkv = self.qkv(x).reshape(B, N, 3, self.num_heads, C // self.num_heads).permute(2, 0, 3, 1, 4) q, k, v = qkv[0], qkv[1], qkv[2] # 计算注意力矩阵 attn = (q @ k.transpose(-2, -1)) * (1.0 / (C // self.num_heads) ** 0.5) # 添加可学习的相对位置偏置 for i, (win_w, win_h) in enumerate(self.window_sizes): window_area = win_w * win_h relative_position_bias = self.relative_position_biases[i] # 假设此处通过索引将偏置添加到对应的窗口 # 实际实现需根据窗口划分逻辑调整 attn[:, :, :window_area, :window_area] += relative_position_bias attn = attn.softmax(dim=-1) attn = self.attn_drop(attn) x = (attn @ v).transpose(1, 2).reshape(B, N, C) x = self.proj(x) x = self.proj_drop(x) return x ``` 此代码框架旨在展示如何实现支持多种窗口尺寸的注意力机制，具体实现细节可能需要根据实际论文内容进行调整。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值