初创公司 Acrab 发布 GΞLIX 1 边缘 AI 芯片:5nm 工艺,支持本地运行千亿参数大模型
边缘 AI 芯片赛道迎来新玩家。初创公司 Acrab 今日正式发布其首款边缘 AI 终端 SoC——GΞLIX 1,采用 5nm 制程,核心卖点是让 1000 亿参数规模的大模型能够在本地直接运行,无需将数据上传至云端。
芯片采用异构计算架构,集成 20 核 Arm CPU、3TFLOPS GPU、独立 NPU 及音视频处理引擎,AI 总算力达到 650TOPS。作为参照,高通骁龙 X Elite 的 NPU 算力约为 45TOPS,英特尔酷睿 Ultra 系列的 NPU 算力在 40TOPS 左右,GLIX 1 的 AI 算力约为两者的十余倍。
内存子系统针对大模型推理的高吞吐需求进行了专门设计。芯片配备 8MB L1 缓存,共享 L2 缓存带宽达 768GB/s,外挂 256-bit 位宽 LPDDR5X 内存,传输速率 8533MT/s。大模型推理过程中,权重读取与 KV Cache 存取对内存带宽高度敏感,这一配置为百亿参数模型落地端侧提供了基础支撑。
此次发布中,Acrab 重点展示了预填充阶段的性能表现。预填充是指大模型在生成首个 Token 前,对用户输入进行全量编码的过程,其效率直接影响长文本场景下的首 Token 延迟。Acrab 通过矢量硬件单元加速 Transformer 注意力机制计算,并对预填充路径进行针对性优化。官方测试数据显示,在 40k KV 缓存、10k Token 输入的 Gemma 26B A4B 配置下,GΞLIX 1 达到 1416.8 Token/s,性能为苹果 M4 Pro Mac Mini 的 7.5 倍。
软件层面,Acrab 同步推出完整软件栈及智能体参考设计,覆盖底层驱动到上层应用框架。首款终端设备 Agent Box 也同步亮相,作为 GΞLIX 1 的参考实现,面向开发者提供评估与原型验证平台。