Nvidia

Nvidia宣布推出NIM AI护栏微服务，以解决企业对AI代理人的资料安全或违反法令的疑虑。

最新的NIM AI护栏微服务是Nvidia NeMo护栏（NeMo Guardrails）软件工具集的一部份，都是以NIM微服务提供，包含内容安全、主题控管及越狱侦测。NeMo Guardrails是Nvidia开源的工具套件，可让开发人员为LLM应用程序加入可编程的护栏（Guardrails）或管理规则。NeMo Guardrails是Nvidia NeMo管理平台的一部份。

新推出的内容安全微服务可防止AI生成有偏见或有害的输出，确保符合伦理标準。主题控管微服务则确保对话内容的主题在许可範围内，避免离题或不适当内容。越狱侦测微服务则防範使用者越狱（jailbreak），以免AI遭到不当利用的攻击。其中内容安全微服务是以Nvidia的Aegis Content Safety Dataset训练而成，包含3.5万个人员标注的资料样本。该资料集已在Hugging Face上公开。

Nvidia指出，企业开发人员可在开发AI代理人时使用这些轻量专用的微服务作为护栏，以作为特定AI工作流程的控管，以填补更广泛安全政策的漏洞。此外，这些模型轻巧，可高速执行、减少延迟性，在远端办公室或频宽不足的地方如医院或仓库也能执行，这有助于医疗、汽车、製造业扩大部署AI。

Nvidia也提供了其已开源的LLM和应用漏洞扫瞄工具Garak来检测模型及应用程序的安全性，防止资料外洩、提示注入、程序码幻觉及越狱可能性。