最新消息:关注人工智能 AI赋能新媒体运营

Gemini代理入驻BigQuery管道,支持故障排查与Dataform迁移任务

科技资讯 admin 浏览

Google 将 Gemini 数据工程代理(Data Engineering Agent)引入 BigQuery Pipelines。这个第一方代理专为数据工程场景设计,能够自动处理工作流的构建、维护与故障排查等重复性任务,用户可在 BigQuery Studio 和 Dataform 界面中通过“Ask Agent”按钮启用。

根据 Google 说明,Data Engineering Agent 支持通过自然语言生成和修改数据工作流。用户只需描述需求,系统便会自动生成符合数据工程最佳实践的 SQL 代码与工作流架构,例如加载数据、转换格式、去重、输出至指定表。当用户希望调整现有工作流时,代理能分析代码结构,提出修改建议供审核,并自动生成相应的文档与字段说明,便于后续维护与交接。

Data Engineering Agent 同时整合了 Dataplex 的 Universal Catalog 目录服务,可从中提取业务术语表与数据概要(Data Profile),以提升新表的元数据质量与整体性能。在数据准备阶段,代理可从 Cloud Storage 导入原始文件,自动完成清洗、去重与格式标准化,并依据 Dataplex 定义的规则生成数据质量断言(Assertion),或对包含敏感信息的字段自动加密。代理还能通过自然语言生成星型模型(Star Schema)或 Data Vault 等数据模型结构,大幅减少人工编写与测试的时间。

在故障排查方面,代理与 Gemini Cloud Assist 深度集成。当工作流出现错误时,系统可自动分析执行日志,定位故障原因并提供修复建议,显著降低人工查阅日志的负担。为满足数据平台现代化需求,Data Engineering Agent 还支持将现有的或私有格式的数据流程自动转换为 BigQuery 原生工作流。

Google 表示,该代理目前处于预览阶段,未来将持续扩展功能,包括主动式调试、集成开发环境支持,以及在 Cloud Composer 中进行工作流调度。Gemini 的引入使 BigQuery 从单一的数据仓库工具,演进为能够自动生成、维护与优化数据流程的智能平台。