最新消息:关注人工智能 AI赋能新媒体运营

NVIDIA发表最新LATTE3D研究项目,透过AI透过文字1秒就可生成3D模型

科技智能 admin 浏览 评论
NVIDIA发表最新LATTE3D研究项目,透过AI透过文字1秒就可生成3D模型

NVIDIA在GTC 2024春季场发表的LATTE3D研究项目是款能将于文字转换为3D模型的生成式AI技术,并将花费时间由10~12秒缩短至1秒。

犹如虚拟3D印表机

NVIDIA AI研究副总裁Sanja Fidler所属位于多伦多的AI实验室团队在GTC 2024春季场的座谈活动中,发表了LATTE3D并于现场进行实机展示,该技术能够高效率透过文字提示词生成3D模型,在搭配NVIDIA RTX A6000 GPU的情况下能够几乎即时生成3D模型。

延伸阅读:GTC 2024春季场系列报导目录

在LATTE3D的协助下,创作者无需从头开始设计或在3D资料库内搜寻现有现有模型,而是能在输入提示词之后生成多组3D模型供创作者选择,并在几分钟内完成最佳化提高模型的品质,有助于捕捉稍纵即逝的创意并加速工作流程。

使用者可以汇出OpenUSD格式模型,并在其他3D开发程式中使用,也能汇出至Omniverse该平台,让生成的模型可以轻鬆应用于虚拟环境,用于开发电玩游戏、广告活动、设计项目或机器人的虚拟训练场域。

LATTE3D利用NVIDIA A100 GPU进行训练,并搭配ChatGPT生成的提示词辅助训练,以提高模型对提示词的理解能力。虽然目前研究人员专注于动物和日常物体等主题训练LATTE3D,但使用者也可以透过次模型架构搭配其他主题的资料训练模型,扩展LATTE3D的适用範围。

LATTE3D的功能为「文生3D模型」,使用者输入提示词之后就可快速生成3D模型。 ▲ LATTE3D的功能为「文生3D模型」,使用者输入提示词之后就可快速生成3D模型。

举例来说可以生成站在滑板上的折纸猫咪。 ▲ 举例来说可以生成站在滑板上的折纸猫咪。

或是生成针织风格的鹤。 ▲ 或是生成针织风格的鹤。

目前LATTE3D主要针对动物和日常物体等主题进行训练,生成动物3D模型的效果较为理想。 ▲ 目前LATTE3D主要针对动物和日常物体等主题进行训练,生成动物3D模型的效果较为理想。

LATTE3D具有可以生成不同品种狗3D模型的能力。 ▲ LATTE3D具有可以生成不同品种狗3D模型的能力。

Sanja Fidler在座谈会回答笔者的提问中表示,LATTE3D预计以开源形式释出,但目前尚处于开发阶段,需等待专案更加完善才会计划推出。

(回到GTC 2024春季场系列报导目录)

发表我的评论
取消评论

表情

您的回复是我们的动力!

  • 昵称 (必填)
  • 验证码 点击我更换图片

网友最新评论