微软开源了用于测试AI代理安全性的工具RAMPART，帮助工程团队将安全团队在模拟攻击中发现的问题，或实际AI事件中的风险场景，转化为可重复执行的自动化测试，并集成到持续集成流程中，确保每次代码变更时都能同步检查，防止已修复的安全问题再次出现。

微软还开源了另一款工具Clarity，协助团队在正式开发前明确开发假设、潜在风险场景和关键设计决策。这两款工具针对不同阶段：RAMPART侧重开发过程中的安全测试，而Clarity则聚焦于开发前期的问题澄清与决策记录。

微软指出，企业部署的AI系统可能访问电子邮件、查询客户关系管理系统数据、编写和执行代码，甚至代替用户在多个系统中执行操作。因此，AI安全问题不仅关乎回答是否准确，还包括AI代理是否会读取被植入恶意指令的数据、误用工具，或执行超出预期的行为。

RAMPART基于微软现有的生成式AI红队自动化框架PyRIT构建，但两者的目标用户和使用时机不同。PyRIT主要帮助安全研究人员在系统完成后探索潜在风险，而RAMPART则让工程师在系统开发阶段就能将安全场景编写为测试用例。开发团队可以描述一段代理与系统交互的情境，并检查最终结果是否符合安全要求。

官方说明，RAMPART目前较成熟的测试范围是针对跨提示注入攻击设计的测试，即攻击者将指令隐藏在文档、邮件、客服工单或其他代理会读取的数据中，诱导代理在处理内容时被误导。

RAMPART也考虑了大型语言模型每次响应可能不同的特性。同一项测试可多次执行，并设置通过条件，例如多数执行结果都必须保持安全。其检查内容不仅限于AI的文字回复，还包括代理是否调用工具、是否对外部系统造成变更，以及行为是否仍在授权范围内。

Clarity则处理更早期的设计问题，可作为桌面应用程序、网页界面，或嵌入开发用AI代理中，引导团队明确要解决的问题、比较可能方案、分析失败情境，并记录决策依据。相关结果将以人类可读的Markdown文件保存在项目目录中，便于团队在审查代码变更时同步检查设计假设是否仍然成立。