xAI

继于3月17日开源大型语言模型Grok-1之后，由马斯克（Elon Musk）创立的xAI再于3月28日发表Grok-1.5，新版本将支援16倍的脉络长度，可望于本周释出，也会成为X上Grok聊天机器人的底层模型。

儘管离释出Grok-1不到两周，但xAI宣称Grok-1.5有显着的进展，在许多基準测试上直追或超越Claude 3 Sonnet及Claude 2。例如Grok-1.5在MMLU（大规模多工语言理解）基準测试的成绩为81.3%，超越Claude 2的75%与Claude 3 Sonnet的79%；在MATH数学基準测试上的成续则是50.6%，也超越Claude 3 Sonnet的40.5%；GSM8K基础数学的成绩为90%，超越Claude 2的88%，逼近Claude 3 Sonnet的92.3%；HumanEval程式码基準测试的成绩为74.1%，凌驾Claude 2的70%与Claude 3 Sonnet的73%。

有趣的是，有别于各个大型语言模型的基準测试都会拿OpenAI的GPT来作比较，日前才控告OpenAI的马斯克或许是刻意略过GPT，而选择了近来被视为最有机会挑战GPT、由Anthropic所打造的Claude。不过，xAI用来比较的版本是Anthropic在2023年7月推出的Claude 2.0，以及Claude 3.0的中阶版本Claude 3 Sonnet，而非最高阶的Claude 3 Opus。

此外，Grok-1.5不仅于上述基準测试中明显胜过Grok-1.0，新版也支援128K个Token的脉络，使其记忆能力达到旧版的16倍，而更擅长处理长文件。

xAI说明，Grok-1.5是在一个基于JAX、Rust与Kubernetes的客製化分散式训练框架上所建置，此一训练堆叠使其团队得以花费最小的力气来测试原型想法，同时大规模训练新架构，其客製化的训练协调器可自动侦测到有问题的节点并将其从训练任务中剔除，该团队也优化了检查点、资料载入及训练任务的重新启动，以最小化发生故障的停机时间。

此外，马斯克还透过X放话，正在训练中的Grok-2.0将会在所有的基準测试上超越现有的AI，不过，他并未揭露Grok-2.0的上线时间点。