最新消息:关注人工智能 AI赋能新媒体运营

苹果联手LM Studio用四台Mac Studio本地部署万亿参数模型

科技资讯 admin 浏览

四台Mac Studio集群跑通万亿参数模型,本地AI部署走向开发者案头

WWDC2026演示环节,LM Studio与苹果联合展示了一套本地算力方案。四台Mac Studio通过苹果内存共享与互联技术组成集群,统一内存总量约1.5TB。这套硬件成功运行了月之暗面发布的Kimi K2.6大模型。

Kimi K2.6总参数为1万亿,采用MoE架构,激活参数规模320亿。模型支持长上下文、多模态输入与智能体任务。开发者此前在类似配置下做过测试,推理速度可达28 tokens/s,功耗远低于传统GPU集群。

演示同时覆盖了终端接入路径。LM Studio更新了LM Link远程访问功能,并同步至Mac应用与Locally AI iOS应用。用户使用MacBook Neo或iPhone即可加密连接至Mac Studio集群,与模型实时对话。所有计算与数据传输留在本地,不依赖云端。

配合Thunderbolt 5 RDMA与多设备内存共享技术,轻量设备调用集群算力的链路已经打通。本地部署万亿参数模型正从实验室走向开发者工作区。苹果硬件互联能力的持续迭代,有望进一步拓宽消费级设备承载大规模AI推理的边界。