最新消息:关注人工智能 AI赋能新媒体运营

企业发展云原生永续IT有新工具

科技智能 admin 浏览 评论

CNCF技术监督委员会成员Katie Gamanji(图右)与CNCF推广大使太田航平(图左)来台在K8s Summit中分享K8s未来发展方向,提到要聚焦云端永续性的发展,让企业可以透过新工具在云原生环境中观察、记录并评估碳排放。

「技术部门要在云原生环境中观察、记录并评估碳排放,需要新工具来解决这个课题。」云端原生运算基金会(CNCF)技术监督委员会成员Katie Gamanji最近在台湾Kubernetes高峰会上强调,这正是K8s接下来在永续性的重要发展新方向。从CNCF基金会揭露的K8s未来发展,凸显出企业为因应ESG或永续性,使得云原生永续成了重要议题,如何整合云端与永续发展的策略,成了实现绿色数位转型的关键。

由于数位转型,许多企业採用云端架构推动内部IT基础架构现代化、数位化,随着云原生技术的成熟,近几年,多云混合云架构逐渐成为许多大型企业现代化IT策略的主流,也让云原生永续的议题,开始受到重视。

从云原生永续角度来看,企业不能再像过去那样仅仅以成本考量来使用云端资源。过去,当云端可用时,企业往往会尽可能使用免费资源,例如按日计费的虚拟机器,并不太关心使用了多少CPU资源。可是,追求永续发展以后,企业就不能仅仅关注成本,而是需要更加全面的思考,包括能源消耗和碳排放等环境影响。

尤其,近2年,生成式AI的快速普及,推动了AI运算能力的不断提升,也带来云端资料中心日益增高的能源消耗和碳排放。这些大型语言模型(LLM)在训练和推论阶段需消耗大量能源。例如,每次ChatGPT查询所耗电量几乎是传统Google搜寻的10倍之多。特别是影像、音乐和影片生成等运算密集型GAI应用,将进一步提升能源耗损,也大大增加碳排放量。

另一项调查预测,由于GAI需求激增,到2030年资料中心的电力需求将暴增160%,将从目前占了全球总电力消耗的1到2%,提升至3到4%,将大幅增加IT能耗与碳排量。由于这些AI模型需要大量运算,得在云端环境上执行,促使云原生永续关注度越来越高。

为何云原生永续成为K8s未来的重要发展方向?

Katie Gamanji引用一项调查数据指出,当今全球碳排放量中有1.4%来自技术部门。若资料中心和资讯基础架构全面转用再生能源,可望减少80%的碳排,可是,目前技术部门行动力不足,导致技术部门未来十年产生碳排量,不但不会减少,反而预估还会增加10%。

随着云端成为主流IT架构,越来越多企业选择K8s来调度和管理容器化应用与服务。而K8s本身不只是一个云端维运工具,也是一个减少碳足迹的工具,甚至不仅仅是一个容器调度工具,也是云端永续IT工具。

例如,K8s内建垂直Pod自动扩充机制,能帮助开发者自动调整容器的工作负载,避免让应用程序长时间占用CPU和节点资源,造成资源浪费。此外,K8s还能配合优化排程,帮助开发者在非工作时段自动关闭不必要的资源,并在工作时间恢复。透过这样的方式,就能节省大量能源,且不需额外成本。

但是,光靠K8s内建的功能不足以支持云原生永续的发展,若没有来自K8s详细的IT能耗数据,来提供技术部门了解云原生环境中的容器化应用消耗多少的能源和碳排放数据,也就没办法根据这些行为提出具体改进方案。这正是 CNCF基金会未来聚焦的一大重点,要提供新工具解决这个问题,让技术部门能在云原生环境中观察、记录并评估自身的碳排放情形。

K8s目前有两大云原生永续工具

目前K8s有两个重要的云原生永续工具,第一个是Kepler工具,这是一个利用eBPF来取得K8s丛集系统状态的数据,并汇出成Prometheus指标进行监控和管理的工具。另一个工具是Carbon-Aware KEDA Operator功能,这是K8s事件式丛集扩充工具KEDA在2023年新增的功能,可以自动依据碳排放变化,来调整丛集的大小机制,就好像具备碳察觉的效果。

Kepler这套云原生永续监控工具已获得不少大厂的支持,包括IBM、红帽、德铁等。

Kepler工具可以提供以秒为单位的能耗指标,结合碳感知SDK使用,能实现云端环境中更细緻的碳排放追蹤。这些即时数据不仅有助于精细掌握能源消耗的情况,还能将这些数据汇出至Prometheus彙整,并利用Grafana仪表板进行视觉化呈现。图片来源/IBM

去年11月,在红帽OpenShift 4.14版本中,推出了採用Kepler专案开发的电力监控功能,作为容器层级的电力监控工具提供,在裸机环境中,让开发者可以透过安装外挂的方式,直接将Kepler工具整合到OpenShift主控台的仪表板上,方便用户进行查看和分析OpenShift丛集中容器的功耗数据。今年1月底,这项功能进入技术预览,之后将推出正式版。

又如德国铁路集团开始用Kepler蒐集和监控混合云环境的功耗和碳排资讯,还建立了绿色IT仪表板可提供每支容器化应用程序即时的能耗数据,作为追蹤和改善IT能耗以及碳排的重要参考。这是德铁交给内部开发人员的第一个工具,协助集团达成绿色IT的目标。

Kepler这项碳足迹侦测工具会在每一个K8s丛集节点中,安装一个Kepler探索器,用来收集容器和节点层级的能耗指标,主要透过eBPF追蹤CPU效能计数器和Linux核心Tracepointsa机制,来蒐集功耗和资源利用资讯,再进一步计算每个容器和节点所消耗的每小时KW能耗资讯,再乘上碳排放係数,来换算出这个能耗所产生的碳排放量。

Kepler工具可提供秒级的云原生能耗指标

不像公云碳排侦测工具使用上存在诸多限制,Kepler这套工具的最大特色是,不仅可以提供单一应用程序的能耗使用资讯,还能够精细到从高层次,到容器层次的详细能耗数据,并以接近即时的方式呈现,方便用户能够快速了解单一元件中能源使用状况,进而做出相应的调整。

甚至,Kepler可以提供以秒为单位的能耗指标,结合碳感知SDK使用,能实现云端环境中更细緻的碳排放追蹤。这些即时数据不仅有助于精细掌握能源消耗的情况,还能将这些数据汇出至Prometheus彙整,并利用Grafana仪表板进行视觉化呈现。

因应GAI风潮,企业可以利用这套工具监控云端GenAI专案工作负载,估算出推论与训练过程中的能源消耗,作为优化LLM模型能耗的依据,有助于降低模型的能耗,使其更具永续性。

Kepler最早由红帽、IBM于2022年2月发起,并于隔年成为CNCF基金会旗下的沙盒专案,虽然Kepler还是一个新兴专案,但自上架至GitHub以来,逐渐吸引越来越多开发者的关注和採用。在过去一年中,Kepler在GitHub上的星标数量已翻倍,累积超过12K颗星星。

除了开发者社群的力推,Kepler也开始在国际重要的云原生技术会议中获得关注,像是在KubeCon美洲和欧洲年会中,均设有专场介绍这套工具,并分享企业应用实例。甚至一些国际性重要组织,如绿色软件基金会(GSF)、欧洲电信标準协会(ETSI)等都将Kepler纳入其永续发展框架或标準中,进一步加速推动了其应用与普及。

儘管,云原生永续在国外讨论越来越多,但在台湾的关注仍相对较少,意味着许多企业可能还未意识到其重要性,或是也不知道如何运用这些新工具,有效地追蹤和改善其云端资源的消耗,进而减少碳排放。

随着台湾今年10月式正式公告碳费费率并于明年初生效,未来许多高碳排的企业将需依每吨碳排300元计算每年要缴交的碳费。对于企业而言,如何运用云原生永续工具,来收集云端环境中的能耗和碳排数据,并透过这些数据来优化资源使用,降低碳排放和碳费成本,将变得越来越重要。我们也专访Kepler专案核心维护者,亲自剖析云原生永续关键手段。

?相关报导?

发表我的评论
取消评论

表情

您的回复是我们的动力!

  • 昵称 (必填)
  • 验证码 点击我更换图片

网友最新评论