万亿参数模型15分钟算力成本堪比一辆特斯拉

蚂蚁集团副总裁周俊在AICon大会上抛出一个非常直观的对比：万亿参数模型每运行15分钟，算力成本就相当于一辆特斯拉。这个数字让提升模型效率的问题变得格外紧迫。

周俊和团队提出的策略，是从“更多Token”转向“更高Token密度”。他们采用了一种混合线性注意力架构，具体是“7份Lightning Attention加1份MLA”。这套架构把处理256K长度上下文的成本，从指数级别拉到了线性级别，算力能更直接地用在思考上。

团队还引入了Kpop算法，用于更好地区分工具调用与自然语言Token。同时结合思维链剪枝和自蒸馏等技术，Token输出量减少了约4倍，模型能力却没有下降。周俊指出，在LongBench和BFCL等多个基准测试中，他们的千亿参数模型已经在Agent任务上超过了部分更大规模的模型。小型模型的flash吞吐率达到2.4倍，五轮对话的算力成本降低了超过10倍。

面对持续膨胀的算力需求，这一系列创新给出了一个方向：把大模型做“密”，而不是一味堆Token。