2024_NIPS_Bootstrap Off-policy with World Model

原创 于 2026-01-02 12:45:00 发布 · 2 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #自然语言处理 #计算机视觉

在这里插入图片描述

文章核心总结与翻译

一、主要内容

本文针对基于模型的强化学习（MBRL）中在线规划与离线策略学习结合时存在的智能体分歧（actor divergence） 问题，提出了BOOM（Bootstrap Off-policy with WOrld Model）框架。该框架通过 Bootstrap 循环紧密整合规划与离线策略学习：策略为规划器提供初始解，规划器通过模型预测优化精炼动作，再通过行为对齐引导策略更新，同时联合学习的世界模型为规划器提供轨迹模拟能力，为策略优化提供价值目标。

在 DeepMind Control Suite 和 Humanoid-Bench 两大高维连续控制基准的14项任务中，BOOM 均实现了最先进（SOTA）的训练稳定性和最终性能，显著优于 SAC、DreamerV3、TD-MPC2 等主流基线方法。

二、创新点

  1. 无似然对齐损失（likelihood-free alignment loss）：针对在线规划器的非参数化动作分布，通过最小化前向 KL 散度，在无需显式获取规划器动作似然的情况下，实现策略与规划器行为的对齐。
  2. 软价值加权机制（soft value-weighted mechanism）：基于学习到的 Q 函数对回放缓
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【强化学习论文合集】十六.2019AAAI人工智能大会论文(AAAI2019)
计算机科研杂货铺
12-05 1187
强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。 本专栏整理了近几年国际顶级会议中，涉及强化学习（Reinforcement Learning, RL）领域的论文。顶级会议包括但不限于：ICML、AAAI、IJCAI、NIPS、ICLR、AAMAS、CVPR、ICRA等。
论文理解【RL - Exp Replay】—— 【ReMERN & ReMERT】Regret Minimization Exp Replay in Off-Policy RL
佚失的诗篇
08-19 728
标题：Regret Minimization Experience Replay in Off-Policy Reinforcement Learning；发表：NIPS 2021；领域：强化学习 —— experience replay
【2011-2016】 NIPS汇总 - Advances in Neural Information Processing Systems
Testing的博客
10-02 1万+
Advances in Neural Information Processing Systems 24 (NIPS 2011) The papers below appear in Advances in Neural Information Processing Systems 24 edited by J. Shawe-Taylor and R.S. Zemel and P.L.
【人工智能】NIPS2019 | 2019NIPS论文 | NeurIPS2019最新更新论文~持续更新| NIPS2019百度云下载
热门推荐
中科院AI算法工程师的博客
09-04 3万+
论文下载百度云链接：链接：https://pan.baidu.com/s/100OAXTIOTPoMjbi-dwOcxA 提取码：请关注【计算机视觉联盟】微信公众号，回复：NIPS2019 今天更新到2019年10月11号 目录 今天更新到2019年9月4号 Understanding the Representation Power of Graph Neural Networks i...
NIPS 2018 收录论文及下载链接
愿十四亿神州尽舜尧
05-08 2万+
Efficient Algorithms for Non-convex Isotonic Regression through Submodular OptimizationFrancis Bach Structure-Aware Convolutional Neural NetworksJianlong Chang,Jie Gu,Lingfeng Wang,GAOFENG MENG,...
NIPS 2018 接收论文list 完整清单
TomRen
09-12 2万+
NIPS2018 接收论文包括poster、tutorial、workshop等，目前官网公布了论文清单： https://nips.cc/Conferences/2018/Schedule 同时还给出了workshop介绍。
[资源贴]NIPS2016下载地址
波大菜菜
11-19 1万+
从NIPS官网上爬取HTTP源码.然后进行按要求修改成下载地址. 建议:使用迅雷批处理下载. http://papers.nips.cc/paper/6507-scan-order-in-gibbs-sampling-models-in-which-it-matters-and-bounds-on-how-much.pdf http://papers.nips.
2018 NIPS paper list
Z609834342的博客
12-10 2715
NIPS2018 接收论文包括poster、tutorial、workshop等，目前官网公布了论文清单： https://nips.cc/Conferences/2018/Schedule Poster paper >~1. Zero-Shot Transfer with Deictic Object-Oriented Rep...
NIPS 2018 paper list（论文列表）
人工智能技术学习与分享
12-03 1万+
Efficient Algorithms for Non-convex Isotonic Regression through Submodular Optimization Francis Bach Structure-Aware Convolutional Neural Networks Jianlong Chang, Jie Gu, Lingfeng Wang, GAOFENG MENG, ...
论文理解【RL - Exp Replay】—— 【DisCor】Corrective Feedback in RL via Distribution Correction
佚失的诗篇
08-13 1016
DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction；发表于 NIPS 2020；强化学习 Experience Replay 领域
Visual Semantic Planning using Deep Successor Representations学习笔记
jing_jing95的博客
03-05 1262
ABSTRACT A crucial capability of real-world intelligent agents is their ability to plan a sequence of actions to achieve their goals in the visual world. In this work, we address the problem of visua...
Math - 中心化，标准化和归一化
guoqx的专栏
12-30 651
摘要：归一化是将数据转换为统一尺度的处理方法，消除量纲差异，便于比较与分析。常见方法包括Min-Max缩放（线性映射到固定区间）和Z-score标准化（均值0，标准差1）。Min-Max适用于需要固定范围的情况，但对异常值敏感；Z-score适用于单位不同或存在离群值的场景。归一化在数据分析、信号处理和机器学习中广泛应用，需根据数据分布和算法需求选择合适方法，并注意保存参数以确保一致性。流程包括数据清洗、方法选择、拟合转换和效果评估。
人工智能基础篇：概念性名词浅谈（第十五讲）
m0_53104033的博客
12-31 666
本文介绍了两种改进的自编码器模型。正则自编码器通过在损失函数中添加正则化项，实现了对稀疏表示、噪声鲁棒性等特性的学习，突破了传统自编码器的容量限制。随机编码器则通过向编解码器注入噪声，形成生成模型架构，其训练目标是最小化输入与重构间的负对数似然。文章还特别介绍了针对矩阵数据的改进版本MRAE及其在异常检测中的应用。这些模型通过不同的正则化机制，有效提升了自编码器的特征学习能力。
2025年终总结
李梨同学的博客
12-31 600
以往，想把一个产品从想法变成现实，往往离不开一整条由“螺丝钉”拼出来的流水线：需求评审、产品对接、研发排期、测试上线，每一步都要仰赖他人的时间与资源。我试图推倒技术的高墙，用通俗有趣的语言，把晦涩的AI原理“翻译”给更多人听。这条路注定充满了不确定性。正是这风暴般的时代，打破了旧有的壁垒，赋予了像我这样曾经“不务正业”的个体前所未有的杠杆。这一年，我拒绝做一个默默敲代码的“独行侠”，决定走出去，构建自己的知识品牌。三年后再次站在时间的节点回望，这一年于我而言，是从“被浪推着走”到“学会造浪”的转折点。
GitHub 热榜项目 - 日榜(2026-1-1)
最新发布
CoderJia的学习之路
01-01 371
本期GitHub热榜显示AI应用开发正全面渗透各技术领域，前沿项目聚焦于解决实际工程问题。Gemini的电脑使用预览和Timescale的pg-aiguide展示了AI与开发工具深度整合，通过MCP服务器提升代码生成质量。Pathway框架和docetl系统凸显流式ETL与LLM管道技术成熟，推动实时数据分析与RAG应用落地。同时，来自ResembleAI的Chatterbox和TrendRadar分别代表语音合成与智能信息聚合的技术突破，Deep-Live-Cam则体现单图视频生成技术的平民化趋势。这些项
第N11周：seq2seq翻译实战-Pytorch复现
m0_46260522的博客
12-26 986
5.2 注意力解码器（AttnDecoderRNN）7.2 训练迭代主循环。
【AI学习-comfyUI学习-第二十五节-Shuffle洗牌模式布局+contronet其他应用结合-各个部分学习】
qq_22146161的博客
12-27 1402
最近，学习comfyUI，这也是AI的一部分，想将相关学习到的东西尽可能记录下来。不断学习摸索中。
2025年智能体架构与主流技术深度研究报告：从生成式AI迈向自主执行层
chengoodflower的博客
12-30 742
在2025年，智能体的记忆技术已经超越了简单的向量检索增强生成（Naive RAG），向着结构化、分层化和具有自我管理能力的**操作系统级记忆（OS-Level Memory）**演进。这简化了智能体的架构，使得开发者无需维护独立的推理服务即可实现高质量的检索。：在多智能体系统（Multi-Agent Systems）中，o3 被广泛用于担任“编排者（Orchestrator）”或“团队领导（Team Lead）”的角色，负责将模糊的用户需求转化为具体的子任务序列，并分配给其他更快速的模型去执行。
No105:甘地&AI：智能的非暴力变革与社会智慧
weixin_43135215的博客
12-28 760
在追求AI社会智能进步的同时，我们需要甘地式的社会智慧和人文精神，让智能不仅能够处理数据，更能够理解人性、促进和谐、实现公正、服务人类，成为真正推动社会进步和人类福祉的智能力量。
这6个复现从易到难排序：“TPAMI25_Scaling Spike-driven Transformer with Efficient Spike Firing Approximation Training” “2304.SpectFormer_Frequency and Attention is what you need in a ViT__Fourier_Backbone_” “CVPR25.Transformers without Normalization” “ICLR2024_Spike-driven Transformer V2” “NIPS2023_Spike-Driven-Transformer” “NIPS2024 Oral_MetaLA_Unified Optimal Linear Approximation to Softmax Attention Map”
03-19
### 论文难度排序分析 对于深度学习领域中的论文，其阅读和理解的难度通常取决于以下几个因素： 1. **理论复杂度**：涉及的基础数学工具、算法设计以及推导过程越复杂，论文的理解门槛越高。 2. **创新程度**：如果一篇论文提出了全新的架构或方法，则需要读者对该领域的背景有较深了解才能快速掌握核心思想。 3. **跨学科特性**：当研究工作融合多个子领域（如神经科学与计算机视觉），则可能增加额外的学习成本。 以下是基于上述标准对所列论文按从易到难顺序排列的结果及其理由说明： #### 排序结果 1. **CVPR25.Transformer without Normalization** 这篇论文主要探讨移除标准化操作的影响并给出解决方案，在现有框架上做改进而非完全重构新模型，因此相对容易入门[^4]。 2. **NIPS2023.Spike-Driven-Transformer** 虽然引入脉冲机制增加了认知负担，但由于这是早期版本的工作，概念较为基础简单，适合初学者作为进入SNN方向的第一步材料之一[^2]。 3. **ICLR2024.Spike-driven Transformer V2** 它是在前者基础上进一步发展完善而成的作品；相比起原始版来说新增了一些高级技巧比如更高效的训练策略等，所以稍显困难一些. 4. **TPAMI25.Scaling Spike-driven Transformer with Efficient Spike Firing Approximation Training** 结合了大规模扩展性和近似计算这两个难点话题，并且涉及到复杂的优化流程和技术细节处理方面的要求较高，属于高阶读物范畴[^1]. 5. **MetaLA_Unified Optimal Linear Approximation to Softmax Attention Map (NIPS2024 Oral)** 提出了统一最优线性逼近软最大注意图的方法论体系，不仅包含了深刻的理论洞察还具备很强的实际应用价值，同时由于是口头报告级别成果意味着质量极高同时也更具挑战性[^3]. 6. **SpectFormer_Frequency and Attention is what you need in a ViT__Fourier Backbone_(2304.)** 将频域变换融入注意力机制当中形成独特视角下的新型骨干网络结构——谱前向器(Spectrum Former)，这既是对传统ViTs的一次大胆革新尝试也是多维度思考能力锻炼的好机会，无疑是最具技术含量也最难啃硬骨头级别的存在. ```python papers_difficulty_order = [ "CVPR25_Transformers_without_Normalization", "NIPS2023_Spike_Driven_Transformer", "ICLR2024_Spike_driven_Transformer_V2", "TPAMI25_Scaling_Spike_driven_Transformer_with_Efficient_Spike_Firing_Approximation_Training", "NIPS2024_Oral_MetaLA_Unified_Optimal_Linear_Approximation_to_Softmax_Attention_Map", "SpectFormer_Frequency_and_Attention_is_what_you_need_in_a_ViT__Fourier_Backbone" ] ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值