月之暗面开源Kimi K3模型权重及三项关键训练技术
月之暗面日前正式发布Kimi K3的模型权重及技术报告,并同步开源了三项支撑该模型训练的关键基础设施技术:MoonEP、FlashKDA和AgentEnv。
Kimi K3采用混合专家(MoE)架构,总参数规模达2.8万亿,具备原生视觉理解能力,支持最长100万token的上下文窗口,是月之暗面目前能力最强的模型。
此次开源的三项技术在大规模模型训练中发挥重要作用。其中,AgentEnv是月之暗面与KVCache.ai联合开发的智能体沙箱系统,主要用于大规模运行Agent环境。该系统可在Kimi K3的后训练阶段提供高保真、强隔离的运行环境,支持快速快照、恢复与分叉等功能,满足大规模并行智能体工作流和训练任务的需求。
Kimi K3于7月17日正式发布,主要面向长程编程、知识工作及复杂推理等场景。发布数小时后,该模型登顶AI代码工具评测榜单Arena,成为首个获得该榜单第一名的中国大模型。特斯拉CEO埃隆·马斯克在相关评测报道评论区留言,评价其"令人印象深刻"。该榜单运营负责人安杰洛普洛斯表示,Kimi K3的发布可能促使投资者重新审视整个AI行业。
此次开放模型权重、技术报告及训练基础设施,标志着月之暗面向开发者和研究机构公开了大模型训练与智能体后训练的完整体系。相关技术的持续开源,有望降低超大规模模型研究与智能体应用开发的门槛,推动国产开源模型生态从模型能力竞争向底层工程能力与工具链建设延伸。