DeepMind 发布强化学习通用算法 DreamerV3,AI 成精自学捡钻石

(DreamerV3)Mastering Diverse Domains through World Models 通用智能需要解决多个领域的任务。当前的强化学习算法具备这种潜力,但受限于为新任务调整所需的资源和知识。我们提出了DreamerV3,这是一种基于世界模型的通用且可扩展的算法,在固定超参数的情况下,超越了以往在广泛领域的表现。这些领域包括连续和离散动作、视觉和低维输入、2D和3D世界、不同的数据预算、奖励频率和奖励规模。我们观察到DreamerV3具有良好的扩展性,更大的模型直接转化为更高的数据效率和最终性能。 阅读详情
AI摘要

DeepMind的DreamerV3算法实现了无需人类数据就能在我的世界中自主学习收集钻石,展示出通用和可扩展的强化学习能力。该算法基于世界模型,能适应多种环境和任务,减少了对专门算法的依赖,推动强化学习在更多领域的应用。

内容一览:强化学习是多学科领域的交叉产物,其本质是实现自动决策且可做连续决策。本文将介绍 DeepMind 最新研发成果:扩大强化学习应用范围的通用算法 DreamerV3。

关键词:强化学习 DeepMind 通用算法

本文首发自微信公众号:HyperAI超神经

北京时间 1 月 12 日,DeepMind 官方推特发文,正式官宣 DreamerV3,这是首个能在游戏「我的世界」(Minecraft) 中不参考人类数据,就能从头开始收集钻石的通用算法,解决了 AI 领域中的又一重要挑战。

DeepMind 在推特官宣 DreamerV3

强化学习扩展成问题,发展还需通用算法

强化学习使得计算机可以通过互动解决某一任务,如 AlphaGo 在围棋比赛中战胜人类,OpenAI Five 在 Dota 2 中战胜业余人类玩家。

OpenAI Five 在比赛中战胜人类玩家研发团队与人类玩家合照

然而,要想将算法应用于新的应用场景,如从棋盘游戏转到视频游戏或机器人任务,就需要工程师不断开发专门的算法 (specialized algorithms),如连续控制、稀疏奖励、图像输入以及 spatial environments 等。

这要求大量的专业知识和计算资源来微调算法,极大阻碍了模型的扩展。创建无需调优就能学习掌握新 domain 的通用算法,成为扩大强化学习应用范围、解决决策问题的重要途径。

由此,由 DeepMind 和多伦多大学联合研发的 DreamerV3 应运而生。

DreamerV3:基于世界模型的通用算法

DreamerV3 是一种基于世界模型 (World Model) 的通用和可扩展的算法,能在固定超参数的前提下,应用于广泛域 (domain),比专门的算法更出色。

这些 domain 包括连续动作 (continuous action) 和离散动作 (discrete action),视觉输入和低维输入,2D 世界和 3D 世界,不同的数据预算、奖励频率和奖励尺度等。

DreamerV3 通用算法与专门算法性能对比

DreamerV3 由 3 个从回放经验 (replayed experience) 中同时训练,且不共享梯度的神经网络组成:

1、world model:预测潜在动作的未来结果

2、critic:判断每种情况的 value

3、actor:学习如何使有价值的情况成为可能

DreamerV3 的训练过程

如上图所示,world model 将 sensory input 编码为一个离散表征 zt。zt 由一个具备 recurrent state ht 的序列模型预测得出,并给出动作 at。input 被重构为学习信号 (learning signal) 进而 shape 表征。

actor 和 critic 从 world model 预测的抽象表征 trajectory 中学习。

为了更好地适应跨域任务,这些组件需要适应不同的信号强度 (signal magnitudes),并在其目标中稳健地平衡 terms。

工程师在超过 150 个固定参数的任务上对 DreamerV3 进行了测试,并与文献中记载的最佳方法进行比较,实验表明,DreamerV3 对于不同 domain 的任务,均具备较高通用性和可扩展性。

​基准概览 

所有 agent 都是在 NVIDIA V100 GPU 上训练

DreamerV3 在 7 个基准测试中都取得了优异成绩,并在 state 和 image 的 continuous control、BSuite 和 Crafter 上都建立了新的 SOTA 水平。

然而 DreamerV3 仍然具备一定的局限性,例如当 environment steps 在 1 亿以内时,算法并不能像人类玩家一样,在所有场景中都捡到钻石,而是偶尔捡到。

完整论文

站在巨人的肩膀上,回顾Dreamer家族发展史

一代目:Dreamer

发布时间:2019 年 12 月

参与机构:多伦多大学、DeepMind、Google Brain

论文地址:https://arxiv.org/pdf/1912.01603.pdf

算法简介:

Dreamer 是一个强化学习 agent,可以仅通过 latent imagination 从图像中解决 long-horizon 任务。

它基于模型预测的反向传播,来利用 world model 实现高效的行为学习。在 20 个极具挑战性的视觉控制任务中,Dreamer 在数据效率、计算时间和最终性能方面均超过了当时的主流方法。

​

Dreamer 与当时主流方法的性能比较

Dreamer 继承了 PlaNet 的数据效率,同时超过了当时最好的 model-free agent 的渐近性能 (asymptotic performance)。5×106 个 environment step 后,Dreamer 在各个任务中的平均性能达到了 823,而 PlaNet 仅为 332,最高的 model-free D4PG agent 在 108 步之后为 786。

二代目:DreamerV2

发布时间:2020 年 10 月

参与机构:Google Research、DeepMind、多伦多大学

论文地址:https://arxiv.org/pdf/2010.02193.pdf

算法简介:

DreamerV2 是一个强化学习 agent,可以从 world model 紧凑隐空间 (compact latent space) 的预测中学习行为。

注:该 world model 使用离散表征,并且与策略分开训练。

DreamerV2 是第一个通过在单独训练的 world model 中学习行为,在 Atari 基准的 55 项任务中达到人类水平的 agent。在相同的计算预算和 wall-clock time 情况下,DreamerV2 达到了 2 亿帧,超过了顶级 single-GPU agents IQN 及 Rainbow 的最终性能。

此外,DreamerV2 也适用于有连续动作的任务,它学习了一个复杂的类人型机器人的 world model,只通过像素输入就解决了站立和行走问题。

​玩家在 Atari 基准 55 个游戏的正则化中位数得分

推特网友评论区带头玩梗

对于 DreamerV3 的诞生,不少网友也在 DeepMind 推特留言区抖起了机灵。

​解放人类,再也不用玩「我的世界」了。

​别光顾着玩游戏了,干点正事儿吧!@DeepMind 和 CEO Demis Hassabis

​「我的世界」终极 BOSS 末影龙瑟瑟发抖中。

近年来,游戏「我的世界」已成为强化学习研究的一个焦点,围绕在「我的世界」中进行钻石收集的国际竞赛已经举办多次。

在没有人类数据的情况下解决这一挑战,被广泛认为是人工智能的一个里程碑,因为在这个程序生成的开放世界环境 (open-world environment) 中,奖励稀少、探索困难、时间跨度长,这些障碍的存在使得先前的方法都需要基于人类数据或教程。

DreamerV3 是第一个从 0 开始在「我的世界」中完全自学收集钻石的算法,它使得强化学习的应用范围进一步扩大,正如网友们所说,DreamerV3 已经是个成熟的通用算法了,该学会自己挂机升级打怪,跟终极 BOSS 末影龙对线了!

​

关注 HyperAI超神经,了解更多有趣的 AI 算法、应用;还有定期更新教程,一起学习进步!

DreamerV3:通用强化学习的革命性突破,Nature重磅研究解析 DeepMind的DreamerV3算法在《Nature》杂志发表,标志着强化学习领域的革命性突破。该算法通过创新的世界模型技术,实现了跨领域的通用学习能力,显著提升了样本效率和计算资源利用率。在《我的世界》挖钻石挑战和Atari游戏测试中,DreamerV3展现了超越传统方法的性能,为通用人工智能的发展提供了新思路。 阅读详情

相关推荐

dreamerv3复现教程

由于dreamerv3存在很多版本冲突问题,所以很难直接使用和复现。

无人机飞啊飞啊飞 2838

DeepMind提出强化学习新方法,可实现人机合作

来源:AI前线作者:Ben Dickson译者:盖策划:凌敏本文来自 BDTechTalks 网站的“AI 研究论文评论”专栏。该专栏提供人工智能最新发现的系列解读文章。尽管人工智能研究人...

人工智能学家 735

DreamerV3阅读笔记

xzzhzsg⋅。

read, note and comment papers 2116

基于世界模型的通用强化学习范式:DeepMind DreamerV3技术解析

DeepMind此项突破不仅解决了RL的"脆性"问题,更揭示了通向通用人工智能的可能路径。​​模型驱动 > 数据驱动​​:通过构建可解释的世界模型,降低对试错数据的依赖​​归一化即泛化​​:跨领域稳定的关键在于动态适应不同信号尺度​​规模定律延续​​:大模型+多梯度更新仍是提升性能的有效路径随着计算资源的持续增长,这种基于世界模型的通用学习框架,或将成为打开AGI之门的核心钥匙。对于AI从业者而言,理解Dreamer的架构思想,将有助于把握下一代RL技术的发展脉搏。​​论文信息​​。

civiljiao的博客 5072

机器学习之DeepMind推出的DreamerV3

DreamerV3 是 DeepMind 提出的一个模型为中心的强化学习(Model-Based Reinforcement Learning, MBRL)算法,旨在实现通用性和高效性。它继承了 Dreamer 系列算法的核心思想,同时引入了一些重要改进,使其在多样化的任务上表现优异。

JustinMars的博客 1046

Materials - UE5中的PivotPainter

可以使用3DS Max Script中的脚本(Pivot Painter)对模型进行处理,让每个Element都有自己的Pivot Point,来方便控制和制作一些特殊的顶点动画效果;

GT的虚幻引擎文档 1290

Dreamer:机器人域的世界模型

Dreamer是加拿大多伦多大学和谷歌的工作,有三个版本。

yorkhunter的博客 4831

从Deepmind最新成果DreamerV3启发的通用AI技术分析

北京时间 1 月 12 日,DeepMind 官方推特发文,正式官宣 DreamerV3,这是首个能在游戏「我的世界」(Minecraft) 中不参考人类数据,就能从头开始收集钻石的通用算法,解决了 AI 领域中的又一重要挑战。本文是从Deepmind最新成果DreamerV3启发的通用AI技术分析。

qq_31765191的博客 2275

Qt 5.9.1 32位下,手把手搞定周立功CAN二次开发库的加载与配置(含常见错误排查)

本文详细介绍了在Qt 5.9.1 32位环境下配置周立功CAN二次开发库的完整流程,包括环境准备、项目配置、常见错误排查及性能优化建议。特别针对MinGW 32bit环境,提供了.pro文件的精准配置和DLL部署策略,帮助开发者快速解决库文件匹配、编译报错和运行时问题,实现高效的CAN总线通信开发。

weixin_28717431的博客 356

【Python百日进阶-Web开发-Feffery】Day385 -“一起Dash”训练营Lesson-07_利用fac构建表单(上)

文章目录前言:fac是什么?“人生苦短,我用Python;Web开发,首选Feffery!”↓↓↓ 今日笔记 ↓↓↓一、费老师课堂1.1 什么是表单1.2 页面效果1.3 课堂源码二、课后作业2.1 页面效果2.2 项目源码 前言:fac是什么? feffery-antd-components(简称fac),是国内大佬费弗里(Feffery)老师基于著名的React UI组件库ant design进行二次开发,将ant design中的诸多实用组件及特性引入Dash,帮助开发者使用极低的纯Python代

专注于医院数据分析技术与系统开发的创作与分享。 253

在《我的世界》里挖钻石把AI难哭了,DeepMind最新算法终于扳回颜面

鱼羊 Alex 发自 凹非寺量子位 | 公众号 QbitAI又一个AI老大难问题,被DeepMind攻克了:一只名叫DreamerV3的AI,在啥也不知道的情况下被丢进《我的世界》(MineCraft)里,摸爬滚打17天,还真就学会了如何从0开始挖钻石。△就是从撸树开始的那种要知道,之前为了攻克这个问题,CMU、微软、DeepMind和OpenAI还联手在NeurIPS上拉了个比赛,叫MineRL...

量子位 446

车载以太网测试-1【TC8物理层测试基础】

车载以太网物理层是车载网络的基础,负责将数字数据转换为适合在物理介质上传输的信号,并确保数据传输的可靠性、稳定性和高效性。它在车载网络系统中扮演着至关重要的角色,直接影响着车辆内部通信的性能和效率。1. 主要物理层标准车载以太网标准由IEEE 802.3和标准名称速率线缆类型编码方式应用场景100BASE-T1100 Mbps单对非屏蔽双绞线车载摄像头、传感器1 Gbps单对屏蔽/非屏蔽双绞线自动驾驶域控制器、高清视频10BASE-T1S10 Mbps单对双绞线幅移键控(ASK)

车载网络测试工程师的博客 4401

Nature重磅:DeepMind AI又一重大突破,1次配置解决150多种任务 基准、《我的世界》、消融、扩展性 4 个角度评估了Dreamer 在 8 个领域、超过 150 项任务的通用性。

在消融方面,他们在 14 个任务的不同集合上消融了鲁棒性技术和学习信号,发现所有鲁棒性技术都有助于提高性能,其中最显著的是世界模型目标的库尔巴克-莱伯勒平衡和自由比特,其次是返回归一化和用于奖励和价值预测的 symexp 双热回归。《我的世界》是在一个独特的随机生成的无限三维世界中进行的。作为一种基于学习世界模型的高性能算法,Dreamer 为未来的研究方向铺平了道路,包括从互联网视频中向智能体传授世界知识,以及跨领域学习单一世界模型,让智能体积累越来越多的通用知识和能力。

AI生成曾小健3 1185

Autosar Configuration(十四)SomeIP之配置SoAd

本文主要介绍SomeIp协议栈中的SoAd在Configurator中的详细配置

king110108的专栏 2603

深入解析:使用Python进行T矩阵散射计算的完整指南

在物理学和工程学中,散射是一个至关重要的概念。当波(无论是光波、声波还是其他类型的波)遇到一个障碍物时,它会在多个方向上散开。为了理解和预测这种行为,我们需要进行数学建模和计算。其中,T矩阵方法是一种非常有效的工具。在开始计算之前,我们需要定义一些基础函数。"""计算T矩阵的一个元素。参数:- wave_vector: 波矢- scatterer_position: 散射体的位置- scatterer_properties: 散射体的性质(如大小、形状等)返回:- T矩阵的一个元素。

qq_38334677的博客 1056

Dreamerv3 Mastering Diverse Domains through World Models 世界模型

这篇论文介绍了DreamerV3算法,旨在通过一个通用的算法来掌握广泛的领域,从而解决人工智能中的基本挑战。

具身机器人和通用AI 2110

玩转Docker小游戏项目系列:Docker部署魔塔网页经典小游戏

玩转Docker小游戏项目系列:Docker部署魔塔网页经典小游戏

jks212454的博客 1064

【亲测免费】 DreamerV3:无监督强化学习的梦境探索者

DreamerV3 是由 Danijar Hafner 开发的一个高级无监督强化学习框架,基于其先前的工作 DreamerV1 和 V2 的迭代升级。此项目致力于通过在环境内部构建世界模型来学习复杂的策略,利用梦境中的交互来优化行为,从而在实际环境中实现高效学习。DreamerV3 不仅提升了算法性能,还优化了训练稳定性和效率,使其成为研究和应用无监督强化学习的强大工具。 ## 项目快速启动 ...

gitblog_00250的博客 1945

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

DeepMind强化学习综述:快速和缓慢的强化学习

背景 近年来,深度强化学习(RL)方法在人工智能方面取得了令人瞩目的进步,在从Atari到Go到无限制扑克等领域都超过了人类的表现。 这一进展引起了对了解人类学习感兴趣的认知科学家的关注。但是,人们一直担心,深层RL可能太低样本效率-也就是说,它可能太慢-无法为人类学习提供一个合理的模型。 在本综述中,作者通过描述最近开发的技术来反驳这种批评,这些技术使深层RL能够更灵活地运行,比以前的方法...

图像算法Imalg的博客 1492

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

DeepMind将在加拿大建立首个AI实验室,与阿尔伯特大学合作

雷锋网(公众号:雷锋网)消息,今天DeepMind在官方博客上宣布,将成立第一个位于英国以外地区的人工智能研究实验室,而这个实验室的位置正是在人工智能研究领域非常突出的国家——加拿大。 DeepMind同时也在Twitter上更新了这一消息,引来广泛关注与转发。 左一为 Rich Sutton 根据网站上的消息,这一实验室将与阿尔伯特大学建立深度合作...

weixin_33861800的博客 107

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

《强化学习周刊》第25期:DeepMind提出无模型风险敏感强化学习、谷歌发布 RLDS数据集生态系统...

No.25智源社区强化学习组强化学习研究观点资源活动关于周刊强化学习作为人工智能领域研究热点之一,其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯,智源社...

BAAIBeijing的博客 720

探索无界:掌握多元领域的World Models——DreamerV3

随着人工智能的不断发展,强化学习已成为解决复杂问题的关键工具之一。现在,我们有了一款名为DreamerV3的开源项目,它是一个强大的、可扩展的算法,旨在通过世界模型来征服各种应用领域,而且无需特定的超参数调整。DreamerV3不仅在多个任务上表现出色,而且具有出色的通用性和数据效率。 ![](https://user-images.githubusercontent.com/2111293/2

gitblog_00064的博客 1192

DreamerV3:基于世界模型的通用强化学习算法

本文是对论文《Mastering Diverse Domains through World Models》的深度解读。在强化学习领域,通用算法跨域适配需大量调参的问题长期存在。Google DeepMind 与多伦多大学团队提出的 DreamerV3,以世界模型为核心,结合归一化等鲁棒性技术,固定超参数即超越 150 + 任务的专用算法,且首次无需人类数据在 Minecraft 从零收集钻石,推动 RL 走向实用化。

m0_65010824的博客 2206

项目是DreamerV3的重新实现 项目概览

其代码库结构清晰,模块化设计使其可扩展性强,适合在多种环境下进行实验和应用。该项目是DreamerV3的重新实现,这是一个可扩展的通用强化学习算法,旨在通过。DreamerV3项目通过世界模型的方式改进了。DreamerV3通过从经验中学习世界模型。世界模型和actor-critic策略。训练actor-critic策略。reamerV3的主要算法实现。环境交互、核心功能、JAX相关。递归状态空间模型(RSSM)多种领域中使用固定的超参数。预测动作给定的未来表示。依赖的Python包。

具身机器人和通用AI 1284
上一篇: 90 后学霸博士 8 年进击战:用机器学习为化工研究叠 BUFF
下一篇: 《流浪地球 2》 Deepfake 小试牛刀,45+ 吴京「被」年轻,变身 21 岁小鲜肉
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值