
AI分析云端服务商Snowflake宣布其Cortex AI服务套件启用跨区域推论功能,以满足某些区域没有可用推论服务的用户需求,本功能最先从Amazon Web Services(AWS)开始部署。
随着更强大的大语言模型(LLM)出现,让生成式AI服务快速增长。但有些用户区域并没有那么快部署模型,限制了应用开发速度。Snowflake 的Cortex AI的跨区域推论已从测试版正式上线,让用户透过简单设定,即可存取不同云端区域上偏好的LLM。
这新功能可提升Snowflake Cortex LLM以及使用该LLM的功能,像是Snowflake Copilot和Cortex Analyst的用处。Cortex Analyst为Snowflake 6月份新宣布的服务,让企业用户可运用储存在Snowflake上的分析资料,以无程序码方式开发资料导向的AI助理应用,即将以公测版上线。
Snowflake Cortex是一组使用LLM模型的AI功能,提供理解非结构化资料、回应自由提问,以及提供智慧辅助等AI服务。Cortex在三大云端平台,包括AWS、Azure、与Google Cloud Platform(GCP)上都有代管服务。不过现在支援跨区域推论的,只有AWS。如果用户在Azure或GCP上设定上述参数,呼叫就会导向AWS。
跨区域功能是预设关闭的,用户须自行设定开启。只要透过管理员用户帐号,在帐号层级(account-level)设定参数CORTEX_ENABLED_CROSS_REGION,即可配置想执行推论的区域。可以选择区域的参数值有三:AWS_US、AWS_EU和AWS_APJ。(配置方法如ALTER ACCOUNT SET CORTEX_ENABLED_CROSS_REGION = ‘AWS_US’;)用户选定三大区域之一后, Cortex AI会自动选择细部区域,例如AWS_US中可能分配到AWS us-east-1或us-west-2。
Snowflake表示日后会持续将这功能推向Azure、GCP等其他平台上。