NVIDIA在GTC 2024春季场推出人型机器人通用基础模型Project GR00T，并发表对应的Jetson Thor单板电脑，进一步推动机器人技术和体现AI技术突破。
整合虚实训练AI
NVIDIA推出的Isaac机器人平台除了具有透过CUDA加速的感知与模拟函数库，也具有能够在电脑中进行模拟并训练AI模型的Isaac Sim，并在这次GTC 2024春季场发表GR00T计划，推出人型机器人通用基础模型Project GR00T，以及基于Thor SoC的单板电脑Jetson Thor，并于Isaac升级加入模拟的生成式AI基础模型、工具和AI工作流程基础架构，标进一步推动机器人技术和体现AI（Embodied AI）技术发展。
延伸阅读：GTC 24：Blackwell架构详解（上），全新架构带来5倍效能表现GTC 24：Blackwell架构详解（下），看懂B100、B200、GB200、GB200 NVL72成员的纠结瓜葛GTC 2024春季场系列报导目录GR00T为Generalist Robot 00 Technology（通用型机器人技术）的缩写，发音可以为Groot（音近格鲁特）或直接唸出「G R Zero Zero T」英数字母，它能搭配大型语言模型（Large Language Model，LLM）理解自然语言，并透过摄影机拍摄、观察人类行为来模仿动作，加快学习协调性、灵活性和其它技能。
GR00T能轻鬆在Isaac开发环境中建立适用于所有环境、任何机器人的基础模型，并透过改良自Isaac Sim的轻量级Isaac Lab应用程式，透过GPU加速方式以合成资料进行模拟训练，强化机器人AI模型的学习成效，并透过OSMO在分散式环境下协调所生成的资料、模型和软硬体迴圈工作，以加速开发流程。
此外NVIDIA也发表了专为机器手臂设计的Isaac Manipulator基础模型与GPU加速函数库，提供灵活且模组化的AI功能，除了能够提高80倍路径规划速度，也能提升零样本感知的效率与吞吐量，以利自动执行更多的机器人任务。而Isaac Perceptor则提供多镜头、3D环视功能，能够降低错误率与成本，并提高协同工作环境中的人员安全。
▲ NVIDIA创办人暨执行长黄仁勋在GTC 2024春季场的开幕演说结尾时多台机器人登台，且进行趣味互动。（可观看重播影片1:54:45处。附带一提，这些机器人皆尚未用到Jetson Thor）
▲ 黄仁勋在演说中表示Omniverse与Isaac将会带来新一波工业革命。
▲ 人型机器人通用基础模型Project GR00T能够接收文字、影片或是观查人类动作进行学习。
▲ 举例来说，开发者可以将人类示範动作影片输入Omniverse建立的数位挛生，并透过Isaac Lab训练机器人AI模型。
▲ 开发者也可以在Omniverse中透过数位挛生以及合成场景进行AI模型的训练工作。
▲ 使用虚拟方式进行AI模型训练能够以低成本进行大规训练，这是在真实世界几乎不可能达成的优势。（可参考NVIDIA介绍影片2:03处）
▲ ANYbotics机器狗在Omniverse数位挛生中透过Isaac Sim训练机器人AI模型。
▲ANYbotics也于GTC 2024春季场的展间带来机器狗的动态展示。但是可能是笔者人品出问题的关係，狗狗跳过箱子之后就薯掉啰……
▲ OSMO能够协调多种资料并驱动机器人。
▲ 开发者也能够透过NVIDIA Tokkio服务让机器人「讲话」。
专为人型机器人打造
为了提供机器人效能更高的运算单元，NVIDIA也以Thor SoC为基础开发Jetson Thor单板电脑，它採用模组化架构设计，可以依照需强针对效能、功耗与尺寸进行最佳化，能够执行更複杂的程式，并提供安全、自然与机器进行互动的能力。
虽然NVIDIA并没有在这次GTC发表太多Jetson Thor的资讯，但NVIDIA自动化机械事业部门副总裁暨总经理Deepu Talla在访谈中回答笔者提问时，表示Jetson Thor的SoC与车辆使用的Drive Thor基本上会採用相同的SoC，採用Blackwell架构GPU，并可透过Transformer引擎带来800 TFLOPS的FP8资料类型AI运算效能，具备执行GR00T等多模态生成式AI模型的能力。
另一方面它也为了针对机器人使用的需求，在单板电脑模组上提供更多I/O端子与功能，并整合功能安全处理器、高效能CPU丛集与100GB乙太网路频宽（100GB of ethernet bandwidth），大幅简化设计与开发工作。
附带一提，Deepu Talla也在访谈中说明，在开幕演说登场的机器人以目前以上市的运算平台为基础开发，尚未使用Jetson Thor。
▲ Jetson Thor是专为机器人设计的运算平台。
▲ Jetson Thor具有更多I/O端子，并能透过高速网路串联，分散多种运算需求。
Jetson Thor预计于2025年上市，目前尚未公布详细规格，未来我们会持续追蹤报导。
（回到GTC 2024春季场系列报导目录）
