最新消息:关注人工智能 AI赋能新媒体运营

蚂蚁灵波开源全球首个具身视频基模LingBot-Video

科技资讯 admin 浏览

蚂蚁灵波开源LingBot-Video,首个面向具身智能的MoE视频生成模型

7月9日,蚂蚁灵波正式开源LingBot-Video。这是全球首个基于Mixture-of-Experts(MoE)架构、面向具身智能的视频生成基础模型。它从机器人和具身智能的核心需求出发,重新设计了视频预训练范式,在推理效率、物理合理性、动作理解和任务完成度上都有系统提升。

在北京大学联合字节跳动发布的机器人操作视频评测基准RBench上,LingBot-Video总分为0.620,超过了Wan2.6(0.607)、Seedance1.5Pro(0.584)、Cosmos3Super(0.581)。RBench专门考察模型生成的内容是否符合真实物理规律,这个分数说明LingBot-Video在生成机器人相关视频时,能更好地保持动作过程的合理性和任务执行的完整性。

LingBot-Video在RBench上性能对比

蚂蚁灵波还在内部基准上做了进一步验证,从通用质量和具身领域两个维度对比了NVIDIA Cosmos3、Wan2.2A14B、LongCat-Video、Hunyuan Video1.5和LTX-2.3等五个开源模型。结果显示,LingBot-Video在具身相关场景中展现出更强的物理理解和动作一致性。

综合评测显示LingBot-Video在具身场景表现

过去几年,视频生成模型在画质和流畅度上进步很快,但对具身智能来说,一个看起来逼真的视频如果无法反映真实物理规律,就难以支撑机器人连续预测、规划和执行任务。同时,具身智能还要求模型具备更高的推理效率,以适应实时交互和控制闭环。这催生了视频生成的两条路线:一条通向影院,服务于内容创作;另一条通向机器人,服务于物理世界的理解、预测与交互。LingBot-Video正是后一条路线上的重要探索。

LingBot-Video在架构、数据和训练三方面做了系统创新。架构上,它采用DiT加MoE设计,用MoE替代传统Dense架构,在扩大模型容量的同时控制单次推理成本。30B总参数的模型在生成时仅激活约3B参数,相比同等参数规模的Dense架构,推理效率提升约3倍。这样既保留了大规模参数的视觉表达能力,又更贴合具身智能对高效推理的要求。

数据方面,团队构建了数据画像引擎,在海量互联网视频的基础上,引入了VLA、VLN、Ego等机器人相关数据,覆盖灵巧操作、机器人移动和第一视角交互等场景,具身数据总规模达到7万小时。这些数据帮助模型学习动作与环境变化之间的关系,而不是只模仿视频的表面纹理和视觉风格。

LingBot-Video模型架构与数据策略

训练上,LingBot-Video引入了多维强化学习奖励系统。除了美学、prompt跟随和运动一致性等常规指标,模型还围绕物理合理性和任务完成度进行对齐,让生成结果更符合真实世界规律,也更贴近机器人在真实环境中完成任务的需求。

LingBot-Video可用于机器人动作预测、仿真数据生成、动作条件建模、世界模型研究等方向。目前,该模型已正式开源。