Representation RL : DreamerPro: Reconstruction-Free Model-Based Reinforcement Learning with Prototyp

最新推荐文章于 2025-12-03 20:31:34 发布
原创 最新推荐文章于 2025-12-03 20:31:34 发布 · 1.1k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习 #算法

ICML 2022
paper
code

Intro

Dreamer系列的model-based的方法需要通过解码器，将状态 z t = [ h t , s t ] z_{t}=[h_{t},s_{t}] zt​=[ht​,st​]重构为观测状态进而优化世界模型。这导致面对高位图像输入时计算复杂度高。
J D R E A M E R = ∑ t = 1 T E q [ log ⁡ p ( o t ∣ h t , s t ) ⏟ J o t + log ⁡ p ( r t ∣ h t , s t ) ⏟ J R t − D K L ( q ( s t ∣ h t , o t ) ∥ p ( s t ∣ h t ) ) ⏟ J K L t ] \mathcal{J}_{\mathrm{DREAMER}}=\sum_{t=1}^{T}\mathbb{E}_{q}[\underbrace{\log p(o_{t}\mid h_{t},s_{t})}_{\mathcal{J}_{\mathrm{o}}^{t}}+\underbrace{\log p(r_{t}\mid h_{t},s_{t})}_{\mathcal{J}_{\mathrm{R}}^{t}}-\underbrace{D_{\mathrm{KL}}(q(s_{t}\mid h_{t},o_{t})\parallel p(s_{t}\mid h_{t}))}_{\mathcal{J}_{\mathrm{KL}}^{t}}] JDREAMER​=t=1∑T​Eq​[Jot​ logp(ot​∣ht​,st​)​​+JRt​ logp(rt​∣ht​,st​)​​−J

最低0.47元/天 解锁文章
【自动驾驶】《BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation》论文阅读笔记
聿默的博客
09-18 2414
多传感器融合对于准确和可靠的自动驾驶系统至关重要。
《强化学习周刊》第38期：DreamingV2、Shadow-price DRL、离线强化学习
BAAIBeijing的博客
03-14 814
No.38智源社区强化学习组强化学习研究观点资源活动关于周刊强化学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社...
推出 Dreamer：使用世界模型的可扩展强化学习
谷歌开发者
04-27 1831
文 / Google Research 学生研究员 Danijar Hafner关于人工智能体如何选择动作来实现目标的研究，目前进展迅速，这在很大程度上得益于强化学习 (RL) 的使用。...
关于深度强化学习的一点积累-文章资源
Flyover
04-16 914
先说三篇具有影响意义的文章：1、Learning to Navigate in Cities Without a Map https://arxiv.org/abs/1804.00168 2、Unsupervised Predictive Memory in a Goal-Directed Agent  https://arxiv.org/abs/1803.10760 3、Zero-Shot Vi...
好文推荐 A transformer-based representation-learning model with unified processing of multimodal input
weixin_43791808的博客
09-07 2069
基于Transformer的表示学习模型，作为临床诊断辅助工具，以统一的方式处理多模态输入。将图像与文字转化为visual tokens和text tokens，通过一个双向的跨模态注意力机制块共同学习不同信息间的整体特征和其关联性来做出决策。第一个以统一方式使用人工智能处理多模态信息，在临床上辅助医生进行决策诊断。
深度强化学习+大模型综述Survey on Large Language Model-Enhanced Reinforcement Learning
xcs166357的博客
06-03 4479
对 LLM 增强 RL 中现有文献进行了全面的回顾，并总结了其与传统 RL 方法相比的特征，旨在阐明未来研究的研究范围和方向。信息处理器、奖励设计者、决策者和生成器。LLM-enhanced RL是指利用预先训练的知识固有AI模型的多模态信息处理、生成、推理等能力来辅助RL范式的方法。利用具有一般知识的模型，这意味着与其他数据驱动模型相比，该模型在学习过程中具有相当大的能力水平和更好的泛化。此外，LLM 增强的 RL 仍然使用 AI 模型，并且可以通过 RL 交互数据持续学习以提高其能力。
论文解析：Deep Reinforcement Learning for List-wise Recommendations
da_kao_la的博客
09-26 3065
论文解析：Deep Reinforcement Learning for List-wise Recommendations 简介 京东在强化学习推荐系统方面的工作，发表在KDD 2019 背景 推荐系统存在的问题： 无法通过与用户的交互建模用户的动态兴趣变化 最大化单次ranking的最大收益，未必是长期的全局最大收益 ranking过程忽略了item之间的关联 方法 强化学习 强化学习基于...
UNITER: UNiversal Image-TExt Representation Learning
连理o的博客
12-11 2364
目录IntroductionModel ArchitecturePre-training tasksPre-training datasetsExperimentsReferences Introduction UNITER: a UNiversal Image-TExt Representation, which can power heterogeneous downstream V+L tasks with joint multimodal embeddings. Model Architectu
【论文阅读】FC-Net: A Method of Few-Shot Network Intrusion Detection Based on Meta-Learning Framework
iioSnail的博客
04-26 6234
0. Abstract 传统的入侵检测系统（intrusion detection system）都是使用监督学习，没法应对小样本情况，所以作者提出了一种基于meta-learning的模型，该模型可以分辨一对网络流量（network traffic）是不是同一种类型（正常流量或恶意攻击）。 作者提出的模型叫FC-Net，主要有两部分： 特征提取（feature extraction network）：用于获取网络流量的特征 比较（comparison network）：用于比较两个流量是否为一种类型
【SSL-RL】自监督强化学习：Plan2Explore算法
博主关注人工智能、强化学习、嵌入式等||985高校A+学科研究生、猿龄六年||优快云博客专家、2024年博客之星TOP33、华为云享专家、人工智能领域优质创作者。
11-01 4586
Plan2Explore是自监督强化学习中的一项创新算法，旨在解决探索问题，尤其是在没有外部奖励信号或奖励稀疏的情境下，如何让智能体有效探索环境。Plan2Explore通过自监督的方式来提高智能体对环境的探索能力，不依赖外部奖励。
Learning to Compare: Relation Network for Few-Shot Learning. （学习比较：用于few-shot learning 的关系网络）
CaoChengtai的博客
07-02 3921
目录1. 摘要2. 介绍3. 相关工作4. 方法论4.1 问题定义4.2 模型5. 其他6. 论文链接 1. 摘要 文章提出了一种概念上简单、灵活、通用的框架用于 few-shot learning 问题。few-shot learning 问题需要分类器必须在每个新类只给出几个样本情况下识别新的类（新的类是指在训练阶段没有见过的类）。文章提出了网络叫做 — 关系网络（Relation Netwo...
论文精读——《BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotempor》
zyw2002的博客
11-24 2621
三维视觉感知任务，包括基于多摄像机图像的三维检测和地图分割，是自动驾驶系统必不可少的任务。在这项工作中，我们提出了一个新的框架Bevformer，它通过时空转换器（spatiotemporal transformer）学习统一的BEV表示来支持多个自动驾驶感知任务。简而言之，Bevformer通过预先定义的网格状BEV查询与空间和时间空间进行交互，从而利用空间和时间信息。
Improving Sample Efficiency In Model-Free Reinforcement Learning From Images 论文翻译
Sufail的博客
03-15 1535
Improving Sample Efficiency In Model-Free Reinforcement Learning From Images 论文翻译，纯手工翻译，难免有错误，希望和大家多多交流，有错误请在评论指出，谢谢！
TensorRT笔记（5）：研究timingCache
ouliten的博客
12-02 799
在里出现了大量的timingCache，但是当时没有取研究这是干啥的，本文就来解析一下。样例都基于上面的文章。
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1509
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
大模型应用：大模型 MapReduce 全解析：核心概念、中文语料示例实现.12
minhuan的专栏
12-03 852
本文介绍了MapReduce编程模型及其在大模型训练中的应用。MapReduce通过"分治-并行-聚合"思想处理大规模数据，传统Hadoop MapReduce侧重结构化数据计算，而大模型MapReduce则针对自然语言处理任务。文章详细对比了两者在架构、处理对象和核心算力等方面的差异，并提供了中文词频统计的Python实现示例，包括单机版和分布式版本。分布式实现利用多进程模拟集群计算，展示了数据分片、Map、Shuffle和Reduce的完整流程。
07_Spring AI 干货笔记之提示词
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 1722
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
【LLM】DeepSeekMath-V2模型
发现问题，并解决问题，批判性思维
11-29 1520
研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。 研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。 相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep
【AI是否能替代IT从业者？】
最新发布
博文致力于人工智能算法的探索研究；前后端分离项目的技术分享交流；专升本计算机基础课程内容讲解；各种中间件技术分享
12-03 570
2025年IT行业面临AI深度重构：基础开发、测试、运维岗位替代率超60%，但AI相关新兴岗位激增380%。人类在复杂系统设计、伦理决策和跨界融合领域仍具不可替代性。微软等企业实践显示，人机协作可使效率提升40%。从业者需转型高价值领域（如Agent开发、大模型工程），掌握"技术+领域"双轨能力。AI本质是职业生态重构器，持续学习者的薪资溢价可达150%。建议立即评估岗位AI暴露指数，优先学习分布式架构优化、多智能体开发等技能。
For SALE: State-Action Representation Learning for Deep Reinforcement Learning
12-29
### 关于深度强化学习中的状态-动作表示学习 在深度强化学习（DRL）领域，状态-动作表示学习是一个核心主题。该过程旨在使代理能够有效地从环境中提取有用特征并构建有意义的状态和动作表征。 #### 表示学习的重要性 有效的状态-动作表示对于提高策略性能至关重要。当代理能够在高维输入空间中识别出重要的模式时，可以更高效地探索环境，并更快收敛至最优解。这种能力尤其体现在视觉输入的任务上，例如游戏或机器人导航，在这些场景下原始像素数据通常作为观测的一部分[^1]。 #### 方法论概述 为了实现高质量的状态-动作表示，研究者们提出了多种方法： - **自监督预训练**：利用未标记的数据预先训练模型以捕捉潜在结构，之后再针对特定任务微调参数。 - **对比学习**：通过最大化正样本对之间的一致性和最小化负样本间的相似度来增强区分不同情境的能力。 - **基于预测的方法**：鼓励网络学会对未来事件做出准确预报，从而间接促进良好内部表达的发展。 ```python import torch.nn as nn class StateActionRepresentation(nn.Module): def __init__(self, input_dim, hidden_dims, output_dim): super(StateActionRepresentation, self).__init__() layers = [] dims = [input_dim] + hidden_dims for i in range(len(dims)-1): layers.append(nn.Linear(dims[i], dims[i+1])) layers.append(nn.ReLU()) layers.append(nn.Linear(hidden_dims[-1], output_dim)) self.model = nn.Sequential(*layers) def forward(self, x): return self.model(x) ``` 此代码片段展示了一个简单的神经网络架构用于创建状态-动作表示的例子。实际应用中可能会更加复杂，涉及卷积层或其他类型的模块取决于具体的应用需求。 #### 结合速率失真理论优化表示质量 考虑到有限的信息传递能力和存储资源，速率失真理论为理解如何平衡信息量与决策准确性提供了框架。这有助于设计更好的算法来获得既紧凑又具有表现力的状态-动作编码方案[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值