苹果接洽PrismML评估iPhone端侧大模型可行性
苹果正与AI初创公司PrismML接洽,评估在iPhone上直接运行大型语言模型的可行性。PrismML源自加州理工学院,核心突破是原生1-bit模型压缩技术。该技术能把模型体积压缩到全精度版本的约十四分之一,内存占用降低超90%。
传统量化方案只是降低精度,仍然保留多比特权重。PrismML的做法不同,权重只用负1和正1两个值表示,配合分组缩放因子完成计算,从架构层面重构了模型的存储与推理方式。
1-bit压缩跑通27B参数模型
传统量化方案常有“高精度逃生通道”,部分关键层保留高精度来弥补性能损失。PrismML没有采用这种折中做法。完全使用1-bit权重的前提下,它仍能保持接近FP16模型的精度水平。推理速度最高提升8倍,能耗降低75%至80%。这大幅拉低了手机端运行大型AI模型的算力和电量门槛。
PrismML压缩了阿里巴巴开源的27B参数大模型Qwen 3.6,成功在iPhone 17 Pro上完整运行。传统方案下,27B参数规模的模型几乎不可能在手机端流畅运行。经过1-bit压缩,模型跑通了,推理质量也接近原版。苹果看中的正是这种量化能力,希望借此增强本地AI模型的推理性能。
端侧AI能力直接关系到Apple Intelligence生态的竞争力。目前iPhone上的AI模型规模和功能受限于内存与功耗。如果PrismML的压缩技术落地,iPhone有望在不增加硬件成本的前提下运行更大规模的模型,实现更复杂的多轮对话、图像理解和智能体任务编排。手机端跑起旗舰级大模型后,端侧AI与云端AI的实力天平或许会重新校准。