Lumine: An Open Recipe for Building Generalist Agents in 3D Open Worlds

Lumine论文核心总结与翻译

一、主要内容总结

Lumine是字节跳动提出的首个用于3D开放世界的通用智能体开发方案，以《原神》为核心测试平台，可实时完成数小时级复杂任务，并实现跨游戏泛化。其核心目标是解决开放世界智能体面临的六大关键挑战，最终达成“感知-推理-行动”一体化的类人交互能力。

核心技术方案

1. 三阶段训练体系：预训练（1731小时人类游戏数据掌握基础动作）→ 指令跟随微调（200小时数据实现语言接地）→ 推理微调（15小时数据激活混合思维）。
2. 混合思维策略：根据场景动态选择“直接行动”或“先推理后行动”，平衡决策质量与实时性。
3. 统一交互接口：基于键盘鼠标的文本化动作表示，适配多类3D开放世界游戏。
4. 实时推理优化：通过KV缓存复用、张量并行、量化等技术，实现25.3倍 latency 降低，满足5Hz感知/30Hz动作生成需求。
5. 记忆管理机制：20帧滑动窗口的短期记忆+推理轨迹的长期记忆，保障长时任务一致性。

关键实验结果

• 可完成《原神》蒙德主线任务（56分钟，优于普通人类玩家的78分钟），并连续通关后续两幕（4.7小时）。
• 零样本泛化至《鸣潮》《崩坏：星穹铁道》等不同类型游戏，完成百分钟级任务。