最新消息:关注人工智能 AI赋能新媒体运营

iPhone 17 Pro 本地运行4000亿参数模型,速度仅0.6 token/s

科技资讯 admin 浏览

iPhone 17 Pro 跑通 4000 亿参数大模型?别急,它真能用,但别指望顺手

3月23日,一个视频在科技圈炸开了锅:苹果最新旗舰 iPhone 17 Pro,居然跑通了一个拥有 4000 亿参数的大语言模型。这听起来像科幻片——要知道,这种模型通常得靠机房里十几块H100显卡撑着,内存需求动辄上百GB。而你的手机,才12GB内存。

可它真跑起来了。不是模拟,不是云端远程控制,是实打实的本地运行。你手里的iPhone,正在用它自己的芯片、自己的存储,自己生成文字。

怎么做到的?两个“土办法”拼出来的奇迹

没有魔法,只有硬核工程。工程师们用了两个看起来“不讲武德”的招数:

第一,把SSD当内存用。iPhone 17 Pro 用的是超快的NVMe闪存,读写速度接近PC固态硬盘。他们用一个叫 Flash-MoE 的开源工具,让模型的“大脑碎片”直接从存储里一块块往芯片里送,用多少读多少,像流水线一样不停补料。这就像你家厨房只有两个灶台,但冰箱里有十锅菜,厨师边做边从冰箱拿,不囤菜,也能把饭做完。

第二,只用“专家”的一部分。这个模型不是全量工作,而是“混合专家”(MoE)结构。生成一个词时,系统只激活4000亿参数里的几百亿,其余的全在睡觉。好比一个拥有100个员工的公司,每次只叫3个人开会,其他人该干嘛干嘛。省力,但效率够用。

速度慢到让人想摔手机

但别被“跑通”两个字骗了——这玩意儿现在连“能用”都算不上。

实测下来,每1.5到2秒才输出一个词。你问它“今天天气怎么样?”,它得等三秒才回你“晴,微风”。你要是想让它写一封邮件,光开头就得等半分钟。你打字比它想得快。

更糟的是,电池掉得飞快。连续运行三分钟,电量掉12%;运行十分钟,手机烫得像刚从烤箱里拿出来。你不是在用AI,你是在给手机做高温瑜伽。

有人把这视频发到Reddit,评论区第一热评是:“这功能我给满分,但请别默认开启,我怕我手机自己烧了。”

为什么这事值得认真看?

这不是为了让你现在就买iPhone 17 Pro来写诗。它的意义在于:证明了“手机本地跑大模型”这条路,不是做梦。

过去我们总觉得AI必须上云,因为手机太弱。但现在,苹果和开源社区用实打实的代码告诉你:硬件不够,算法和架构来凑。这就像当年iPhone 1用256MB内存跑iOS,没人信它能取代诺基亚,可后来呢?

隐私,是最大的卖点。你和AI聊的私密话题、医疗记录、财务计划,不用传到服务器,不被第三方截获,不被广告商分析。你的数据,只在你手里。

离线,是另一个杀手锏。飞机上、地下室、战地、灾区——没信号的地方,你照样能问AI“这药怎么吃?”“这段话怎么改?”这不是炫技,是刚需。

接下来,会怎样?

苹果没官宣这个功能,也没打算在iOS 18.5里推出来。这还只是实验室里的Demo,但背后有真实需求在推动。

谷歌、Meta、华为都在悄悄做类似的事。华为的盘古大模型已经能在Mate 60 Pro上跑100亿参数版本,虽然慢,但能用。小米和OPPO的工程师私下透露,他们也在测试“手机端MoE+闪存流式加载”的方案。

如果未来两年,算力再提升3倍,算法再压缩一半,生成速度从0.6 token/秒涨到10 token/秒——也就是每秒10个字——那手机就真成了你的“私人AI秘书”。不是语音助手,不是聊天机器人,是你口袋里能写报告、改合同、分析财报、甚至陪你聊人生的心智伙伴。

现在,它像一台老式打印机,吭哧吭哧吐字。但别忘了,当年的iPhone 1,连3G都卡顿,没人想到它会彻底改变世界。

技术不是一蹴而就的。但每一次“不可能”,都是下一次革命的起点。