Nvidia

Nvidia周三（4/23）宣布全面推出NeMo平台，该平台是由许多微服务组成，它支援许多大型语言模型，并透过资料飞轮（Data Flywheel）来协助开发人员建置最先进的AI代理系统。

NeMo所整合的微服务，涵盖了可加速大型语言模型微调的NeMo Customizer，只需呼叫5次API即可简化基于客製化与产业评测的AI模型及工作流程评估的NeMo Evaluator，可在仅增加半秒延迟即提高1.4倍合规性保护的NeMo Guardrails。除了上述用来打造AI代理的关键元件外，开发人员亦可辅以用来协助AI于资料库中找到正确知识的NeMo Retriever，以及用来训练高度準确生成式AI模型的NeMo Curator。

至于资料飞轮（Data Flywheel）则是在企业导入AI模型之后，让AI愈用愈聪明的机制，它指的是AI与环境互动的正向循环，例如当它与使用者互动时，可产生大量的对话纪录及使用资料，经过NeMo Curator整理之后，再藉由NeMo Evaluator评估其表现，并透过NeMo Customizer进行微调，而使得模型变得更加準确，并且是在最少的人力干预及最大的自主性上实现。

Nvidia以资料飞轮的原理贯穿了NeMo平台，让AI可透过与使用者的互动不断地自我强化，在Nvidia AI Enterprise软件平台上部署的NeMo不仅容易操作，而且可在任何加速运算基础设施上执行，包括本地端及云端。

大型企业可能建置多达数百个不同功能的AI代理，例如自动诈欺检测、购物助理、预测性机器维护或是文件审查等。其中，AT&T已与Arize及Quantiphi合作，利用NeMo打造了一个先进的AI代理，得以处理近万份且每周更新的企业知识文件。AT&T结合了NeMo Customizer与Evaluator，并针对Mistral 7B进行微调，以实现个人化客服，预防诈欺及网路效能优化，整体AI回应準确率提升了40%。

NeMo微服务支援各种热门的开源模型，包括Llama、Microsoft Phi、Google Gemma、 Mistral与Llama Nemotron Ultra等。

目前Meta已透过替Llamastack新增连接器来导入NeMo，诸如Cloudera、Datadog、Dataiku、DataRobot、DataStax、SuperAnnotate及Weights & Biases等AI软件供应商，亦已于自家平台整合NeMo。