
Nvidia开源了一个名为fVDB的PyTorch扩充,这是一个专为处理大规模3D资料集而设计的深度学习框架,其建立于OpenVDB基础之上,并使用NanoVDB进行GPU加速,支援高效能稀疏体积资料储存与操作。
fVDB主要功能在于处理现实世界模拟,或大规模3D资料的量测工作,其提供了一个强大且一致的框架,可以对大型3D资料执行一整套深度学习操作,避免了以往开发人员需使用不同函式库拼凑框架,所产生漏洞和效能低下的问题。
fVDB与现有的VDB资料集相容,可以直接读取和写入VDB资料集,并且能整合如Warp和Kaolin等3D深度学习工具和函式库。此外,fVDB也提供统一的API,供开发者实作卷积、注意力机制等基本神经网路操作,并支援光线追蹤、高斯分布和体积渲染等操作。
Nvidia以OpenVDB为基础建构了fVDB,而OpenVDB是一个由梦工厂动画所开发,用于电影製作的C++函式库,目前由Academy Software Foundation维护。OpenVDB能够高效地处理像是烟雾、火焰和水等体积特效。
fVDB除了继承原本OpenVDB就具有的稀疏体积资料处理和储存能力,且更进一步提供一套完整的工具,来处理大规模3D资料的深度学习操作,适用于生成式物理人工智慧和空间智慧应用场景。fVDB能够最大程度减少记忆体使用并提高资料吞吐量,同时加快训练和即时推理的速度。
之后fVDB将会作为Nvidia推理微服务(Nvidia Inference Microservices,NIM)提供,使开发人员可以将fVDB核心框架合併到OpenUSD(Universal Scene Description)3D模型文件交换格式工作流程,在Omniverse中产生OpenUSD几何图形。
Nvidia将提供三种fVDB推理微服务,包括可从点云资料生成OpenUSD网格,并运用Omniverse Cloud API进行渲染的Mesh Generation NIM,以及可对单影格和多影格进行人工智慧超解析度处理,生成OpenUSD高解析度物理模拟的Physics Super-Res NIM,第三则是使用Omniverse Cloud API生成大规模神经辐射场(NeRFs),实现逼真3D视觉效果的NeRF-XL NIM。