
NVIDIA在GTC 2024春季场发表的LATTE3D研究项目是款能将于文字转换为3D模型的生成式AI技术,并将花费时间由10~12秒缩短至1秒。
犹如虚拟3D印表机
NVIDIA AI研究副总裁Sanja Fidler所属位于多伦多的AI实验室团队在GTC 2024春季场的座谈活动中,发表了LATTE3D并于现场进行实机展示,该技术能够高效率透过文字提示词生成3D模型,在搭配NVIDIA RTX A6000 GPU的情况下能够几乎即时生成3D模型。
延伸阅读:GTC 2024春季场系列报导目录在LATTE3D的协助下,创作者无需从头开始设计或在3D资料库内搜寻现有现有模型,而是能在输入提示词之后生成多组3D模型供创作者选择,并在几分钟内完成最佳化提高模型的品质,有助于捕捉稍纵即逝的创意并加速工作流程。
使用者可以汇出OpenUSD格式模型,并在其他3D开发程式中使用,也能汇出至Omniverse该平台,让生成的模型可以轻鬆应用于虚拟环境,用于开发电玩游戏、广告活动、设计项目或机器人的虚拟训练场域。
LATTE3D利用NVIDIA A100 GPU进行训练,并搭配ChatGPT生成的提示词辅助训练,以提高模型对提示词的理解能力。虽然目前研究人员专注于动物和日常物体等主题训练LATTE3D,但使用者也可以透过次模型架构搭配其他主题的资料训练模型,扩展LATTE3D的适用範围。
▲ LATTE3D的功能为「文生3D模型」,使用者输入提示词之后就可快速生成3D模型。
▲ 举例来说可以生成站在滑板上的折纸猫咪。
▲ 或是生成针织风格的鹤。
▲ 目前LATTE3D主要针对动物和日常物体等主题进行训练,生成动物3D模型的效果较为理想。
▲ LATTE3D具有可以生成不同品种狗3D模型的能力。
Sanja Fidler在座谈会回答笔者的提问中表示,LATTE3D预计以开源形式释出,但目前尚处于开发阶段,需等待专案更加完善才会计划推出。
(回到GTC 2024春季场系列报导目录)