AnimeGamer：无限动漫生活模拟，预测下一个游戏状态

AnimeGamer：无限动漫生活模拟，预测下一个游戏状态

AnimeGamer AnimeGamer: Infinite Anime Life Simulation with Next Game State Prediction 项目地址: https://gitcode.com/gh_mirrors/an/AnimeGamer

AnimeGamer是一款无限动漫生活模拟游戏，通过开放式的语言指令，玩家可以扮演《悬崖上的波妞》中的宗介，与动态游戏世界互动。该项目由腾讯PCG的ARC实验室和香港城市大学共同研发，旨在为用户提供无尽的动漫体验。

项目介绍

AnimeGamer项目让玩家可以走进动漫世界，与心爱的角色互动。比如，将《千与千寻》的千寻与《天空之城》的帕祖聚集在一起，让他们在动漫世界中相遇、互动，甚至实现帕祖掌握千寻的扫帚飞行技巧等独特的魔法体验。AnimeGamer能够泛化不同动漫电影角色之间的互动和角色行为，拥有无限的可能性。

项目技术分析

AnimeGamer基于多模态大型语言模型（MLLMs）构建，用以生成每一个游戏状态，包括动态动画镜头和角色状态更新。项目分为三个训练阶段：

1. 使用动作感知的多模态表示来建模动画镜头，通过编码器和解码器训练一个基于扩散的解码器来重建视频，同时增加表示动作强度的运动范围作为输入。
2. 训练一个MLLM，通过接收历史指令和游戏状态表示作为输入，预测下一个游戏状态表示。
3. 通过适应性阶段进一步提高解码器解码的动画镜头质量，即通过接收MLLM的预测作为输入来微调解码器。

项目及技术应用场景

AnimeGamer可以应用于动漫游戏开发、虚拟现实、动漫影视制作等多个领域。通过开放式的语言指令和动态的动画镜头，它为用户提供了沉浸式体验，同时为动漫创作提供了新的可能性。

项目特点

1. 动态交互：用户可以通过语言指令与游戏角色互动，实现高度个性化的游戏体验。
2. 无限可能：AnimeGamer能够泛化角色行为，创造出无限的动漫故事线。
3. 高质量动画：基于先进的模型技术，生成的动画镜头具有高度的连贯性和真实感。

结语

AnimeGamer作为一款具有前瞻性的无限动漫生活模拟游戏，不仅为动漫爱好者提供了全新的娱乐方式，更为动漫产业的技术发展开辟了新的道路。随着技术的不断进步，AnimeGamer将继续优化和完善，为用户带来更加震撼的体验。如果你对AnimeGamer感兴趣，不妨尝试体验一下这款游戏，探索动漫世界的无限可能。

AnimeGamer AnimeGamer: Infinite Anime Life Simulation with Next Game State Prediction 项目地址: https://gitcode.com/gh_mirrors/an/AnimeGamer