3D开放世界Agent新突破！字节Lumine在《原神》中展现人类级效率

最新推荐文章于 2025-11-23 18:13:12 发布
原创 最新推荐文章于 2025-11-23 18:13:12 发布 · 1k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#3d #视觉语言模型 #零样本泛化 #自适应推理 #智能体 #通用智能体 #人工智能

关键词：通用智能体（Generalist Agent）、3D开放世界（3D Open World）、视觉语言模型（Vision-Language Model）、自适应推理（Hybrid Thinking）、零样本泛化（Zero-Shot Generalization）、实时推理（Real-Time Inference）

一、导读

在人工智能领域，开发能够在复杂3D开放世界中像人类一样感知、推理和行动的通用智能体一直是一个重要目标。然而，现有方法往往局限于封闭环境，难以处理开放世界的多样性和长时任务，同时面临实时性、多模态理解和长期规划的挑战。

为了解决这些问题，本论文提出了Lumine模型，它基于视觉语言模型构建，能够通过像素输入实时生成键盘鼠标操作，并自适应地进行推理。实验表明，Lumine在《原神》中完成了长达五小时的主线任务，并成功零样本泛化到其他游戏中，展现了强大的通用性。

原文、这里3D开放世界Agent新突破！字节Lumine在《原神》中展现人类级效率

二、论文基本信息

  • 论文标题：Lumine: An Open Recipe for Building Generalist Agents in 3D Open Worlds

  • 作者姓名与单位：Weihao Tan, Xiangyang Li, Yunhao Fang等（ByteDance Seed、Nanyang Technological University、Peking University）

  • 代码链接：https://www.lumine-ai.org/

  • 论文链接：https://arxiv.org/pdf/2511.08892

三、主要贡献与创新

  1. 提出首个能在3D开放世界中实时完成小时级长时任务的通用智能体。

  2. 设计自适应推理机制，仅在必要时生成推理内容，平衡效率与决策质量。

  3. 使用简洁的键盘鼠标动作表示法，无需修改模型结构即可实现高效控制。

  4. 构建多阶段训练流程，从预训练到推理微调，逐步提升模型能力。

  5. 实现零样本跨游戏泛化，在未训练游戏中完成复杂任务。

  6. 优化实时推理延迟，通过动作分块和推测解码将延迟降低25.3倍。

原、文指路👉更多大模型前沿资讯+资料https://mp.weixin.qq.com/s/YSurE_ms3X92qLWNqtzx0w

四、研究方法与原理

Lumine的核心思路是让智能体通过视觉输入感知环境，自适应地生成推理和动作，实现端到端的实时控制。

五、实验设计与结果分析

  • 实验设置：使用《原神》作为主要环境，构建包含141个任务的基准，分为收集、战斗、NPC交互和谜题四类，难度包括简单、困难和未见任务。评测指标为任务成功率，模型在限定角色和装备下运行。

  • 对比实验：在简单任务中，Lumine-Instruct-NonHis达到超过80%成功率，显著优于GPT-5、Gemini 2.5 Pro等基线模型（对应论文图10）。在长时任务中，Lumine-Thinking以56分钟完成《原神》第一幕，接近人类专家水平（对应表5）。

  • 可视化对比：论文图17展示了智能体在任务中的地理轨迹和完成时间，直观显示其导航效率。

  • 消融实验：图14和图15比较了不同历史上下文长度对性能的影响，显示10帧上下文时效果最佳；图11和表5还对比了有无预训练和推理阶段的性能差异，证明多阶段训练的必要性。

六、论文结论与评价

总结Lumine通过视觉语言模型和自适应推理，在3D开放世界中实现了长时任务完成和跨游戏泛化，实验证明其能在《原神》中高效执行任务，并在未训练的《鸣潮》和《崩坏：星穹铁道》中零样本适应。评价这项研究为通用智能体开发提供了可行方案，尤其在游戏测试和自动化领域具有应用潜力。优点包括高效的实时控制和强大的泛化能力，但缺点在于长期记忆有限、战斗熟练度不足，且推理延迟可能影响高时效场景。未来可探索更复杂的内存机制和在线学习，以进一步提升性能。

原文、这里3D开放世界Agent新突破！字节Lumine在《原神》中展现人类级效率https://mp.weixin.qq.com/s/YSurE_ms3X92qLWNqtzx0w

往期推荐 

强烈推荐！多模态融合顶会新成果！CVPR/AAAI 高分成果，这波思路必须学！

OCR “去幻觉” 新纪元！通义点金 OCR-R1 搞定模糊盖章+跨页表格，攻克 OCR 三大痛点！

NeurIPS'2025高分入选！扩散模型+Transformer，效率与质量双线飙升！

杀疯了！2025 最新Agent Memory顶会论文，拿捏发文密码！

ICCV 2025｜FrDiff：频域魔法+扩散模型暴力去雾，无监督性能刷爆榜单！

NeurIPS 2025 | 港科大&上交大HoloV：多模态大模型“瘦身”新突破，剪枝88.9%视觉Token，性能几乎无损

太牛了！北大：Unified-GRPO让理解生成正反馈，超 GPT-4o-Image

越来越感觉「大模型+强化学习」是未来！ ICLR/ICML/AAAI 最新论文整理，这波组合太能打了！

推荐系统 “效率革命”！字节OneTrans：统一 Transformer 融序列建模 + 特征交互，训练推理双提速

MySQL8启动失败 NET HELPMSG 3534
LDC，公众号【轻松学编程】
04-20 497
MySQL8启动失败 NET HELPMSG 3534
原神Agent，字节出品
量子位
11-14 98
为了让模型学会自主规划、反思与修正，完成数小时以上的长任务，团队使用15小时的人工标注推理数据，并将指令输入替换为历史推理，让模型生成新推理和对应动作。模型建立，不仅能够遵循基本指令，而且集成了强大的推理能力，可以理解和完成长时间的复杂任务、文本语言或图像等多模态提示，还能理解不同的语言甚至标点符号。在困难任务中，这种优势则更为显著，成功率为76.8%，远超第二名Gemini 2.5 Pro的52.4%，表现出更好的战术规划。第一章总耗时56分钟，任务完成率100%，全程无卡顿。也是so easy～。
字节Seed推出Lumine：从＜原神＞到＜星穹铁道＞，开启3D开放世界通用Agent新时代
zenRRan的博客
11-15 1580
近年来，人工智能在围棋、星际争霸等封闭环境中取得了超越人类的成就，但这些系统往往局限于单一任务，缺乏在开放世界中的适应性与泛化能力。：Lumine并非每一步都推理，而是仅在环境发生重大变化或任务切换时生成内部独白（如“<|thought_start|>...<|thought_end|>”），避免冗余计算，提升实时性。：7B模型在预训练中随数据量增加，能力逐步涌现：100小时内掌握基础交互，1000小时内精通战斗和GUI操作，1800小时后理解游戏机制与导航。当新推理生成时，上下文被清空并重新积累。
3分钟！教你搭建第一个属于自己的Agent智能体【新手专属】大模型入门到精通，收藏这篇就足够了！
Y525698136的博客
10-25 1395
Agent智能体的核心是coze工作流，相当于人的大脑。我们在把工作流（大脑）搭建好后，然后我们再把外壳身体（Agengt）搭建起来！
“原神，启动！“：字节跳动Lumine Agent技术解析，AI编程新范式
Androiddddd的博客
11-17 532
文章介绍了字节跳动开发的Lumine游戏AI Agent，基于Qwen2-VL模型构建，通过感知空间、混合思考策略和操作建模三大核心机制，实现了在《原神》等游戏中自主完成任务的能力。经过三阶段训练后，Lumine能完成从基础交互到复杂长周期任务，展现出跨游戏泛化能力，代表了游戏场景中通用Agent的发展路径，未来有望成为具身智能。
原神智能体：从“代肝搭子”到具身智能的预演，提瓦特的AI革命已来
qq_35556504的博客
11-17 422
它们不再是辅助工具，而是能共情、会决策、懂配合的伙伴，让提瓦特的每一次探索都有了新的可能。无论是字节能自主开荒的Lumine，还是米哈游5.0版本里“成精”的NPC，这些AI不再是冰冷的程序，而是成为了旅行者身边懂游戏、会配合的智能伙伴，更藏着通用人工智能的未来密码。这个基于Qwen2-VL-7B-Base模型的“游戏大神”，把旅行者的核心操作玩得比真人还丝滑——跑图时精准收集风神瞳，战斗中动态追踪敌人、流畅切换角色，就连复杂的解谜关卡也能轻松拿捏，动辄几小时的长主线更是不在话下。
Lumine-开源
07-14
【Lumine-开源】是一个基于PHP的数据库映射工具，它旨在简化数据库操作，提高开发效率。在PHP开发中，数据库操作是不可或缺的一部分，Lumine通过提供一个直观的接口，让开发者能够更加便捷地处理数据库查询和数据...
zkonge_lumine_36284_1754922479424.zip
08-15
标题中的"zkonge_lumine_36284_1754922479424.zip"可能指向一个特定的项目或资源包，其中包含了与"Lumine"相关的文件。从文件名中提取的信息有限，无法确定其具体性质，但是"lumine"一词可能暗示着与光线、照明或...
Lumine开源PHP数据库映射工具解析
在数据库操作中，ORM将数据库中的数据表映射为应用程序中的对象，实现数据的CRUD（创建、读取、更新、删除）操作。 7. Lumine工具特点：Lumine作为一款PHP数据库映射工具，其特点是简单易用，能够帮助开发者快速...
Lumine: 探索WebGL构建的动态内容框架
1. WebGL技术基础：WebGL（Web图形库）是一种JavaScript API，用于在不需要插件的情况下在任何兼容的Web浏览器中渲染高性能的交互式3D和2D图形。WebGL是OpenGL ES的一个子集，因此在很大程度上继承了OpenGL ES的特性...
Depth Anything 3：单一 Transformer 击败 VGGT，全景视角的 3D 几何新范式
soaring_casia的专栏
11-21 949
要让AI真正理解世界，光会识别物体还不够，它必须“看见”空间。无论输入几张图片、是否提供相机位姿，Depth Anything 3 都能还原出一致的三维空间，生成精准的深度图与射线图，进一步融合成高保真点云与3D高斯几何。，可以在有无相机位姿的情况下，从任意数量的图像中恢复出空间一致的几何结构。未来，当语言模型学会理解空间，视觉模型如DA3学会重建空间，也许通用具身智能的拼图就差最后一块。DA3对于3DGS具备天然的支持性，通过简单的几个步骤即可用DA3生成非常精细的3DGS表示，实现逼真的三维渲染效果。
三维重建【4-B】3D Gaussian Splatting：代码解读
飞鸟拥抱鱼的博客
11-21 197
本期主要阐述训练整体流程及训练相关参数。
3D Cesium渲染架剖析
警警的博客
11-22 82
摘要： CesiumJS作为开源3D地理信息引擎，其核心架构通过分层设计实现高效渲染与扩展性。底层封装WebGL为ShaderProgram、DrawCommand等抽象对象，优化状态管理；场景管理采用Primitive体系与空间索引，支持视锥体剔除；3D Tiles实现大规模数据分级加载，结合批处理提升性能；渲染流程采用命令式架构，按通道分类执行；后处理管线支持像素级特效。该架构平衡性能与灵活性，成为Web端地理可视化的标杆方案。（149字）
SSM美丽华驾校信息管理系统t93d7(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上，文末可获取，系统界面在最后面
2509_93102493的博客
11-21 799
针对美丽华驾校人工管理低效问题，本课题基于SSM框架开发信息管理系统。系统整合学员、教练、考试预约等十大模块，实现全流程数字化。通过权限控制、事务管理等技术解决核心难点，助力驾校提升效率、优化服务，为行业管理系统开发提供参考。
Hunyuan3D本地部署
coder_links的博客
11-21 583
新建一个python 3.10的环境并激活进入该环境Hunyuan3D要求CUDA版本为12.1，先查一下有没有对应版本有的话我们需要在该虚拟环境中指向该CUDA版本的路径指向后，可以nvcc -V查看一下当前虚拟环境对应的CUDA版本无误后，从GitHub上把项目拉下来。如果外网下载不下来，或者比较慢的话，可以手动去官网下载zip，再上传服务器，再unzip即可。而后先指定下pip镜像源，再进行安装。
AI Compass前沿速览：Gemini 3、Grok 4.1、GPT-5.1、千问、Lumine-3D开世界AI智能体
丨汀、的博客
11-19 1215
AI Compass前沿速览：Gemini 3、Grok 4.1、GPT-5.1、千问、Lumine-3D开世界AI智能体
同轴送粉激光沉积增材制造，激光熔覆，数值模拟仿真模型FLOW 3D（单层单道）。 熔池温流场仿...
最新发布
qq__68823886的博客
11-23 270
FLOW 3D的时间步长设置必须卡在0.0001秒量级，虽然计算时间暴增，但能捕捉到微秒级的流动突变。配套的教程视频里藏着不少这种野路子操作，比如怎么用Python脚本批量改仿真参数，比手动操作省下80%时间。之前有个老铁把角度设成30度，结果仿真出来的熔道宽度比实测窄了20%，排查三天三夜才发现是这里出的幺蛾子。建模第一步得把喷嘴结构参数化。含仿真模型源文件，热源模型，软件基础教学视频等，附赠激光增材制造模拟仿真相关文献。同轴送粉激光沉积增材制造，激光熔覆，数值模拟仿真模型FLOW 3D（单层单道）。
工业级蓝光3D扫描仪：汽车零部件装配孔位与全尺寸高精度检测应用
ROGER_MM的博客
11-20 759
摘要：汽车行业对零部件检测精度的要求不断提升，新拓三维XTOM工业级蓝光三维扫描仪为解决这一问题提供了高效解决方案。该技术可应用于汽车座椅滑轨钣金件孔位检测、车灯注塑件3D形变分析、轮毂轴承模具磨损评估以及锻铸件精度控制等多个场景，检测精度优于0.01mm。相比传统检测方法，该方案具有全尺寸检测、数据可追溯、效率高等优势，有效解决了复杂曲面轮廓和孔位偏差等检测难题，帮助厂商提升产品质量、降低废品率并缩短生产周期。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值