微软

微软本周在《自然》期刊发表一款世界与人类行为互动模型（World and Human Action Model，WHAM），名为Muse，能生成电玩的视觉物件及控制器行为。

生成式AI虽然逐渐普及应用于创意产业，如影片、图片，加速协同沟通及自动化产製过程，但效果仍不如期望。微软研究院Game Intelligence和Teachable AI Experience（Tai X）及Xbox Games的忍者理论（Ninja Theory）团队合作开发出Muse，展示利用对使用者需求的知识，促进生成式AI开发创意内容的能力。最后结果是名为Muse的世界与人类行为模型（World and Human Action Model，WHAM），可生成一致化又多样化的电玩游戏情节，且能持续整合用户需求。

WHAM模型基于Transformer架构的自回归模型。为了训练Muse，研究团队蒐集了4人对4人的Xbox线上游戏Bleeding Edge玩家对战时的影片作为训练资料集，涵括10亿张游戏画面与控制器输入的资料，相当于7年的人类玩家游戏资料。透过大量学习，来训练WHAM生成游戏玩法序列、关卡设计和角色行为。训练环境先是使用Nvidia V100，之后全面改成H100，开发过程也经历多轮迭代。

最后的Muse（WHAM-1.6B）可生成游戏视觉效果、游戏内行动，或同时生成两者。它能够根据1秒的游戏片段（1秒的影像与控制器输入），预测接下来的游戏发展。

研究人员评估，Muse有一致性（consistency）、多样性（diversity）及持续性（persistency）的特点。一致性方面，Muse能够生成长达两分钟的连续游戏序列，并且能够保持画面稳定，不会出现明显的视觉退化或不合理的变化。多样性方面，Muse具备行为和视觉上的多样性。例如，当给定相同的10帧（1秒）真实游戏画面作为条件时，Muse产生了不同的游戏场景，包括不同的摄影机移动方式或是选择不同路径。此外，Muse也能产生视觉上的变化，例如角色的悬浮滑板样式不同。Muse还具有「持续性」的能力，能够使新角色合理地融入游戏环境，而不是将其忽略或错误删除。

与以往需要手动定义或提取相对狭窄领域结构的创意支援工具不同，生成式AI模型可以从现有数据中学习相关结构，能够在游戏开发、游戏测试和创意应用方面提供重要协助。

研究团队也开源了Muse权重及样本资料，以及WHAM Demonstrator的执行档，WHAM Demonstrator为概念模型原型，提供视觉介面和模型互动。开发人员可以在Azure AI Foundry试用Muse。