随着企业持续扩大在云端大数据处理服务Amazon EMR on EC2上的数据处理与分析工作负载,AWS于5月12日公布该服务的可观测性功能更新,强化日志收集、监控界面与指标管理。
本次更新的重点之一是,自Amazon EMR 7.11.0版本起,支持将集群日志近实时流式传输到云端日志服务Amazon CloudWatch Logs。用户启用CloudWatch日志功能后,无需额外通过集群启动自动化指令Bootstrap Actions或手动配置代理程序,Amazon EMR即可自动采集并流式传输EMR步骤执行日志、分布式计算引擎Spark的驱动程序与执行器日志。AWS还新增了步骤级别的Amazon S3日志控制功能,企业可为单个步骤指定专属的S3日志路径和密钥管理服务AWS KMS密钥,以满足多租户环境或不同数据分级需求。
另一项更新是扩展了Amazon EMR控制台功能,新增对集群资源管理界面YARN ResourceManager UI和查询执行监控界面Tez UI的直接访问能力,用户无需建立加密的远程SSH连接、通过代理连接或直接连接至集群节点,即可查看正在运行任务的资源配置、查询执行计划与容器日志。AWS还在步骤详情面板中增加了YARN应用ID的显示,方便用户直接关联EMR步骤与底层YARN应用,加快问题排查流程。
在指标监控方面,AWS也完善了自定义指标的相关文档与配置说明。Amazon EMR默认每5分钟将集群层级指标发送至CloudWatch;自Amazon EMR 7.0版本起,启用CloudWatch代理(CloudWatch Agent)后,可收集1分钟间隔的详细指标;Amazon EMR 7.1版本则引入了自定义指标分类,让用户能够更精细地定义分布式数据处理框架Hadoop、资源管理系统YARN与分布式数据库HBase等组件的监控项目。不过,若启用CloudWatch Logs与自定义指标功能,仍会根据日志采集量与指标发布频率产生额外的CloudWatch费用。