
AWS宣布在其生成式人工智慧安全解决方案Amazon Bedrock Guardrails中,新增自动化推理检查(Automated Reasoning checks)功能,目前以预览版形式推出,避免生成式人工智慧回应中的事实性错误,尤其是来自模型的幻觉问题。
Amazon Bedrock Guardrails整合内容过滤、个资去除与上下文检查等功能,目的是要提升生成技术的安全性与可信度,而新增的自动化推理检查进一步强化了该工具的準确性防护能力。
自动化推理检查是一项基于数学与逻辑的技术,主要用于检查系统行为是否符合预期,而这与机器学习仰赖资料进行预测的方式不同,自动化推理运用数学和逻辑方法进行验证,确保系统回应符合已定义的规则。AWS提到,他们已经将自动化推理应用于储存、网路、虚拟化和加密等领域,而现在进一步扩展至生成式人工智慧,提供準确性保证。
该技术的核心在于透过政策规则的形式化(Formal)建置与验证,检查生成式人工智慧是否遵循特定的事实与逻辑,例如在企业内部的应用,自动化推理检查可用于检验与人力资源政策、产品资讯和操作流程相关的回应,确保输出的内容与组织内部规範一致。
企业可以将操作手册等文件上传至Amazon Bedrock,系统会自动分析文件内容并生成相应的逻辑规则。这些规则会被转换成精确且结构化的数学或逻辑表达方式,也就是形式逻辑,使系统能够有效理解并加以运用,以验证生成式人工智慧输出的準确性。
当系统发现回应内容违背政策规则,则系统会标示为无效,并提供详细的逻辑解释与改进建议。这套机制也可以与提示词工程、检索增强生成(RAG)和上下文检查结合使用,执行多层次安全防护。
AWS表示,这项技术使得生成式人工智慧应用案例,能够具有更高的準确性与可解释性,特别适用于需要高度事实性的业务应用,而且该技术不仅提供防护功能,还能协助用户分析并改进回应,逐步提升整体系统可靠性。
自动化推理检查目前已经在美西奥勒冈地区Amazon Bedrock Guardrails提供预览版服务,官方计画在未来数周内,将会在Amazon Bedrock控制台开放注册表单,供更多使用者测试。