最新消息:关注人工智能 AI赋能新媒体运营

IT碳排如何量测?德国铁路云原生永续经验大公开

科技智能 admin 浏览 评论

为了建立IT能耗的能见度,德铁在其云端架构中导入云原生永续监控工具Kepler,用来蒐集云端IT系统能源使用指标,将其转换为KW功耗,以提供相关IT能源消耗和CO2排放资讯。(图片来源/德国铁路)

德国铁路集团(Deutsche Bahn)是欧洲最大、全球第二大铁路运输集团,也是高度云端化企业。德铁从2020年展开数位转型计画,不只推动铁路基础设施现代化、数位化,也大量运用各种数位手段和IT,建立永续行动力(Sustainable Mobility),来实现绿色数位转型,达成2045年气候中和目标。

在集团CEO及旗下子公司16位CIO的支持下,德铁2021~2022年这项绿色数位转型计画,以「绿色IT」作为最终目标。不只是由上而下的转型计画,德铁更掀起了一场由开发同仁和各部门员工共同参与的强烈草根运动,催生了许多底层绿色倡议行动。开发人员利用工作之余发起许多小型专案,例如测量网站的碳排放量,或撰写降低在家办公对环境影响的指导手册。

德国铁路集团由旗下资讯公司DB Systel,负责全集团数位转型和IT战略。今年3月KubeCon欧洲场研讨会中,DB Systel平台策略和赋能首席技术顾问Gualter Barbas Baptista,首度公开了德铁绿色IT转型旅程的经验。

云端厂商工具存有诸多限制,不利碳排资讯获取

为了顺利展开绿色数位转型,德铁集团IT部门的第一步,要找方法来量测出工作负载的碳排放影响。「没有好的数据提供资讯,就没办法思考替代方案,」Gualter Barbas Baptista也以火车延误来比喻,乘客若没有及时获得通知,就无法知道该如何应对和选择替代方案,「这正是为何必须建立资讯能见度。」

他们一开始希望借助云端供应商的工具,来获取这些数据,不过,这些工具有诸多限制,无法取得德铁想要的资料。Gualter Barbas Baptista举例,公云碳排侦测工具无法分辨单一应用程序的碳排放,因为缺乏标籤(Tag)机制,若云端帐户中有多个应用程序,没有Tag功能便无法区分哪一支AP产生多少碳排。

限制不只如此,可取得的资料颗粒度过粗,碳排仪表板的分析只能呈现大致比例,如50%来自EC2,20%来自其他资源,无法提供更细节资讯,且更新也不够即时,有时,产生数据后3个月才能查看。

更重要的是,他强调,公云业者的数据缺少了能源使用资讯,因为碳排放量是根据碳补偿公式来估算,没有实际的能源用量,也就无法找出日常活动和排放影响之间的因果关係,更难判断哪一个行为造成碳排放的增加。

建立开发者绿色IT仪表板

德铁在其云端架构中导入云原生永续监控工具Kepler,用来蒐集云端IT系统能源使用指标,将其转换为KW功耗,以提供相关IT能源消耗和CO2排放资讯。他指出,Kepler的优点是,可以取得从高层次,到容器层次的资讯,以接近即时的资讯,了解单一元件中能源使用状况。此外,还可以在Grafana仪表板中注明,将开发流程的程序码变更,串联到与这次更改对相关能耗的影响。

德铁IT团队建立了绿色IT仪表板,将使用Kepler蒐集到的K8s丛集的功耗资讯,透过Grafana仪表板进行呈现,可提供每支容器化应用程序即时的能耗数据。这是德铁交给内部开发人员的第一个工具,协助集团达成绿色IT的目标。

德铁IT团队建立了绿色IT仪表板,将使用Kepler蒐集到的K8s丛集的功耗资讯,透过Grafana仪表板进行呈现,可提供每支容器化应用程序即时的能耗数据,并用于碳排计算。德铁还透过资料湖打造了一个中间层,用来储存整个云端碳足迹数据,也方便进行资料治理和资料集整合。图片来源/德国铁路

随着越来越多部门的参与,德铁IT部门透过资料湖打造了一个中间层,用来储存整个云端碳足迹数据,也方便进行资料治理和资料集整合,他表示,透过这个中间层,也可以提供其他系统使用,进而整合更多的资讯,例如,企业架构管理系统上加入绿色IT的仪表板,就能提供给架构管理人员参考。

在绿色IT的实践上,德铁开始思考哪些工具和方法能够赋能开发者,尤其,开发者是每天决定软件功能的人,Gualter Barbas Baptista认为,不应仅仅依赖管理文件来告诉开发者该如何操作以及达成哪些目标。如果没有让开发者真正参与其中,并且提供合适的工具和资源,无论是在程序码的撰写方式或是基础设施管理方面,都无法真正实现改变,达到更绿色IT的目标。

导入Kepler工具并非易事。他提到,儘管Kepler是开源且非常好用,但企业使用时仍需特别留意。首先在安全方面,为了应对资安挑战,德铁移除了177个非必要的相依性元件,并将这些问题回馈至Kepler专案。其次,监控系统蒐集的指标太多,可能产生过于频繁的通知和告警,反而造成干扰。所以,他们将预设3秒的资料蒐集间隔延长至10秒,甚至是20秒一次,以减少不必要的干扰,也大幅减少了需要蒐集的资料量。

德铁绿色IT发展有三大策略考量

德铁在绿色IT发展上採用不同策略,来满足够用、效率和一致性的需求。 Gualter Barbas Baptista解释,所谓的「够用」指的是必须考虑到真正的需要及背后的原因;而「效率」则是指生产和利用过程中,尽可能减少资源的消耗,最后,「一致性」则是设计一个符合自身需求的永续性方案。

过去,德铁集团有一套平台化的战略,去年整合所有子公司全面执行同一套标準化的技术平台。他指出,平台化的重要性,在于可以利用平台,来建立高水準的标準化,通过持续改进,提供安全设计,让每一个人不用想,也能实现预设IT绿化(Green by default)。

德铁採用K8s建构云原生技术平台架构,涵盖企业整合平台、AI平台、资料管理平台、物联网平台、开发者体验平台以及No-Code和Low-Code平台等。他认为,K8s不只是一个高效的云端维运工具,也是一个减少碳足迹的工具,甚至不仅仅是一个容器调度工具,更是一个平台构建工具,也是绿色IT工具。

举例来说,德铁IT团队有一套共享K8s丛集,容器密度非常高,也设置了节点自动扩充,实现了平均约70%的CPU利用率。这是相当高的CPU利用率,可是,后来发现,实际上只有15%的CPU利用率被应用程序真正使用。

进一步分析后发现,这些应用程序一旦开始执行,通常就不再关注其资源使用情况,这是因为开发者为了应对可能出现的高流量,往往会在API请求配置上额外设定高一点,避免塞爆,例如API请求限制设定在512 MB,但这会让应用程序长时间占用了CPU和节点资源,造成资源浪费。

K8s专案不只提供了垂直Pod自动扩充机制,也有水平自动调整器,这让开发人员不再需要思考要用多少资源,甚至可以根据建议自动调整容器工作负载来优化,以满足其需求。因此,德铁后来改用垂直Pod自动扩充机制,确保应用程序资源最佳配置,来摆脱昂贵的猜猜看的做法。

?相关报导?

发表我的评论
取消评论

表情

您的回复是我们的动力!

  • 昵称 (必填)
  • 验证码 点击我更换图片

网友最新评论