月之暗面开源2.8万亿参数模型Kimi K3，摩尔线程完成极速适配

7月28日晚，月之暗面正式开源Kimi K3模型并发布模型权重与技术报告。该模型拥有2.8万亿参数，100万token上下文窗口，原生支持视觉理解，是全球首个开源的3万亿级别大模型。

据官方介绍，Kimi K3融合多项架构创新，包括KDA混合线性注意力机制（Kimi Delta Attention）、注意力残差（Attention Residuals）、Gated MLA以及Stable LatentMoE等技术，面向长程编程、知识工作与复杂推理等场景优化。

同日，摩尔线程宣布基于其AI训推一体智算卡MTT S5000及MUSA软件栈，率先完成Kimi K3的适配与稳定运行。此次适配展现了国产GPU软件生态对前沿超大规模模型的支持能力。