一段视频就能生成机器人训练场，李飞飞团队发布SimFoundry

李飞飞团队联合英伟达GEAR实验室、佐治亚理工大学等机构，公开了一套名为SimFoundry的系统。它只凭一段真实世界的视频，就能自动生成可交互的机器人仿真环境，直接用于训练和评测。

这套系统的核心是“数字孪生”与“数字表亲”的闭环。先通过视频提取物体的几何结构、物理属性和交互功能，搭出高精度的数字孪生。接着，系统自动调整外观、形态、场景布局甚至操作任务，衍生出海量的数字表亲。这样一来，开发者只需一段真实视频，就能获得几乎无限的训练数据，机器人在仿真中完成从策略学习到自动评测的全过程。

实验显示，SimFoundry在仿真中评测出的机器人表现，与真实世界的实际结果有极高的一致性。用这些自动生成数据训练出的机器人策略，还能做到“零样本”迁移，在多步操作、双臂协作等复杂任务中表现优异。

这项研究由多位机器人领域的研究者共同署名。随着系统开源，具身智能机器人的开发流程有望迎来变化——不再依赖昂贵的人工采集与建模，而是用生成式技术让机器人更快进入真实世界。

论文地址：https://arxiv.org/pdf/2606.28276v1