最新消息:关注人工智能 AI赋能新媒体运营

Google资料湖仓更新,原生支援Iceberg与AI资料治理

科技智能 admin 浏览 评论

Google云端宣布Data Cloud平台推出多项重要升级,重点在于强化资料湖仓架构的开放性与智慧治理能力。本次更新包含原生支援Apache Iceberg开放格式,并透过BigLake服务整合企业级云端储存,结合人工智慧自动化资料治理,供企业与开发团队在资料管理、分析及应用层面提升弹性与效率。

这次更新主打BigLake原生支援Apache Iceberg,将Iceberg开放格式资料管理功能结合Google云端储存,企业可透过BigLake Table,对Iceberg资料集进行高效分析,并应用Google云端原生储存分层管理与用户自管加密金钥等机制。

透过BigLake Metastore新API与REST Catalog,开发者可更方便地整合多来源Iceberg资料,并支援与BigQuery、AlloyDB for PostgreSQL及第三方分析引擎协同操作,降低ETL成本,提升跨平台资料存取弹性。Google也推出自动化搬迁工具,协助企业将Hadoop或Delta Lake等现有资料环境快速搬迁至Iceberg。

资料湖仓架构的升级不仅提升分析层,更延伸至营运资料库及人工智慧应用整合。BigQuery现支援对Iceberg资料进行即时查询、资料重整与多表格交易等进阶应用,企业可在维持资料自主的同时,运用BigQuery于串流处理、机器学习及多模态分析等场景。AlloyDB for PostgreSQL也可直接查询BigLake管理的Iceberg资料,支援语意搜寻及自然语言查询,让营运与分析资料层更紧密串接,减少资料複製及转换的麻烦。

Dataplex Universal Catalog也是这次更新的重点之一。该服务整合来自BigLake、BigQuery、Spanner、Vertex AI等不同来源的中继资料,实现统一探索、组织及治理。结合Gemini AI模型,Dataplex可自动分析资料关联,进行智慧标注、语意搜寻及分析建议,提升资料盘点与治理效率,并强化权限控管、资料安全及法规遵循的自动化。Dataplex Universal Catalog同时支援与第三方治理平台整合,方便企业建构跨云、多系统的资料治理机制。

Google还在BigQuery Notebook整合Gemini,提供SQL、Python与Apache Spark整合开发体验,透过智慧提示、自动产生PySpark程序码与错误诊断,降低学习与操作障碍,支援JupyterLab及VS Code等开发环境的扩充套件,可让用户快速串接Google云端资料湖仓开放储存与运算资源,加速开发到部署的流程。

发表我的评论
取消评论

表情

您的回复是我们的动力!

  • 昵称 (必填)
  • 验证码 点击我更换图片

网友最新评论