最新消息:关注人工智能 AI赋能新媒体运营

AI21发表企业级AI规画与调度平台,解决LLM输出不稳定的问题

科技智能 admin 浏览 评论

企业导入大型语言模型应用面临输出不确定性的挑战,难以掌控模型实际行为,增加了系统验证与维护的负担。针对这个问题,以色列人工智慧公司AI21 Labs推出名为Maestro的企业级人工智慧规画与调度平台,透过动态任务规画、自动调度(Orchestration)与即时验证(Validation)等技术,降低大型语言模型输出的不稳定性与不可预测性,协助企业将生成式人工智慧落地至业务流程中。

Maestro的核心技术特点是将单一提示词拆解成任务指令词与验证需求两部分,并在推论阶段监控与验证模型生成的内容。这种机制不同于过去仰赖模型一次性产出结果,而是以动态树状结构建立多条生成路径。系统会同时生成多个候选输出,并根据预设标準验证每个候选方案的正确性,持续淘汰或修正不合格的结果,直到最终输出完全符合使用者设定的需求条件。

Maestro内部会依据任务需求动态调整生成策略,包括在广度上採用Best-of-N策略,也就是针对同一问题同时产生多个候选结果,再选取最佳方案,以及在深度上运用Generate-and-Fix策略,针对接近需求的候选输出进行多次迭代修正。透过交错运用这两种方法,有效提高模型结果的準确性与稳定性。此外,系统也支援外部工具整合,例如透过检索增强生成(RAG)机制整合企业内部知识库或外部资料来源,进一步提高输出结果的正确性。

使用者藉由Maestro的执行追蹤(Execution Trace)与验证报告机制,可掌握系统运作细节,其详细呈现每一步生成过程、执行策略选择以及验证结果。使用者可根据报告即时掌握模型决策的依据与执行情形,进一步调整与改进系统运作规则,避免企业内部人工智慧应用成为难以维护的黑盒子。

AI21 Labs表示,Maestro已经在複杂推理应用、内部文件生成、资料整合及严格格式控制等场景获得验证,例如具多步骤推理与多文件检索的FRAMES基準测试中,Maestro的动态规画与验证架构大幅提高了正确率。透过内建的LLM-as-a-Judge及程序化验证两种验证机制,可将企业特定的验证逻辑直接导入生成流程,确保输出结果严谨符合业务或法规要求。

在实际应用上,企业可根据具体需求定义验证条件,包括格式限制、内容规範、语气控制或其他特殊需求,Maestro系统将在生成过程中持续验证并自动修正,直到满足设定要求或预算资源耗尽为止。

发表我的评论
取消评论

表情

您的回复是我们的动力!

  • 昵称 (必填)
  • 验证码 点击我更换图片

网友最新评论