Skywork AI 推出 Matrix-Game3.0：让AI视频不再“失忆”，真实可交互的世界来了

就在上周，Skywork AI 团队发布了一项足以改变交互式内容生成格局的技术成果——Matrix-Game3.0。这不是又一个“生成一段炫酷视频”的演示，而是一个能持续记住你去过哪、看过什么、做过什么的AI世界引擎。它能在720p分辨率下稳定输出每秒40帧的实时画面，且连续运行数分钟，场景不崩、角色不飘、细节不丢——就像你真正在一个虚拟世界里走路、转身、回头。

为什么“记得住”比“画得快”更重要

过去几年，AI视频生成进步飞快，但有个致命问题：你转个身再回来，刚才那扇门不见了；你走远了又返回，墙上的贴纸变成了另一张图。这不是“风格变化”，这是系统根本“不记得”自己之前生成了什么。这在游戏、VR、机器人训练中是灾难性的。

Matrix-Game3.0 的核心突破，是给AI装上了“空间记忆导航系统”。它不再只是“看一眼画一笔”，而是像人类一样，会记住“我刚才从哪来、那边的路灯是什么颜色、楼梯转角有几级台阶”。它用统一的自注意力架构，把过去5秒、5分钟、甚至更久的帧都拉到同一个“心理地图”里做对比和修正。实测中，用户在虚拟城市里绕行12分钟，再回到起点，房屋布局、光影角度、甚至地上的咖啡杯位置，都和最初一模一样。

这不是理论演示。团队公开了一段长达8分37秒的连续交互视频，主角在一座复刻的旧金山街区中自由探索：进便利店买水、上楼梯敲门、下楼骑车穿过隧道——全程无断点、无跳帧、无风格漂移。观看者普遍反馈：“这感觉不像AI做的，像真人在操控一个世界。”

不是靠“想象”，是靠“真实数据”喂出来的

Matrix-Game3.0 的强大，不是靠算法“猜”出来的，而是靠海量真实世界和游戏世界的数据“练”出来的。

他们搭建了一个叫 Unreal-Gen 的自动化平台，基于虚幻引擎5，自动生成超过1亿种角色行为组合——从街头小贩摆摊到帮派火并，从雨天打伞到雪地滑倒，全都真实模拟。这些不是人工剪辑的片段，而是引擎自动运行、随机触发、完整记录的交互序列。

更狠的是，团队直接从《侠盗猎车手5》《赛博朋克2077》《荒野大镖客2》等3A大作中，自动化采集了超过2000小时的高质量第一人称视角 gameplay。不是录屏，是直接从游戏引擎内存中提取物理碰撞、光照数据、NPC行为树——连角色背包里有几瓶药都原样保留。

除此之外，他们还整合了超过1万段真实4K视频，涵盖纽约地铁、东京便利店、冰岛荒原、上海弄堂等真实场景。这些数据不是堆在一起，而是被系统自动对齐、标注、融合，最终形成一个“既像游戏，又像现实”的混合世界模型。

跑得快，还得省电：50亿参数，手机都能跑

很多人以为大模型必须靠高端显卡，但Skywork AI 的工程师们反其道而行——他们不是堆参数，而是“把模型瘦成闪电”。

通过一种叫“多段自回归蒸馏”的技术，他们把原本需要逐帧预测的复杂流程，拆解成多个轻量级模块协同工作。再结合VAE解码器剪枝——剪掉75%冗余结构——解码速度直接提升5倍以上。配合INT8量化，整个系统在50亿参数规模下，能在NVIDIA 4090上稳定运行40FPS，甚至在部分移动端芯片上也能实现流畅预览。

这意味着什么？意味着未来你不用等服务器渲染，手机打开一个App，就能和一个“记得你昨天来过”的虚拟角色对话，而它还记得你上次问过它家楼下那家面馆开没开。

更大的版本，已经能“自己续写故事”

除了面向实时交互的5B版本，团队还展示了280亿参数的MoE（混合专家）架构。这个版本不再只是“记住”，它开始“预测”。

在一段测试中，AI控制的角色在废弃工厂里捡到一把旧钥匙，它没有停在原地，而是主动走向地图上一个从未被玩家触发过的地下室入口——因为它从过去1000次类似行为中，推断出“钥匙+铁门=隐藏区域”。

这不再是“响应指令”，而是“自主推理”。专家称，这是AI从“内容生成器”迈向“世界模拟器”的关键一步。

这不是科幻，是下一个十年的基础设施

Matrix-Game3.0 不是为普通用户做的“AI绘图工具”，它是为开发者、游戏公司、XR设备商准备的底层引擎。目前，已有三家国内头部游戏工作室接入测试，用于构建“永不重置”的NPC世界；一家XR创业公司正用它打造“能记住你情绪变化”的虚拟陪伴系统。

如果你玩过《赛博朋克2077》里那些重复到令人发指的对话，或者试过VR世界里“转身就忘”的场景——那么Matrix-Game3.0 给你的，是一个真正“活着”的世界。

论文地址：https://arxiv.org/pdf/2604.08995

开放测试申请已上线，开发者可申请获取SDK与数据集样本。