字节跳动拟训练超5万亿参数大模型,张一鸣强调"延迟满足"
据媒体消息,字节跳动正在筹划训练一款参数规模超过5万亿的大模型。若计划落地,该模型规模将达到阿里Qwen 3.8-Max(2.4万亿参数)和月之暗面K3(2.8万亿参数)的两倍有余,成为国内已知参数规模最大的模型。不过,该计划目前仍处于早期阶段,最终是否发布尚未确定。
据悉,这一项目由字节跳动旗下Seed Foundation负责人项亮牵头,与大语言模型预训练数据负责人沈科合作推进。为支持这一项目,Seed部门正在重新梳理组织架构、划分职责并分配资源。接近Seed的人士透露,字节跳动的思路是:与其在现有模型尺寸上追赶竞争对手,不如将参数规模一次性提升至行业数倍水平,以换取领先地位。
这一技术动向与字节跳动高层的近期表态形成呼应。创始人张一鸣在内部会议中罕见就AI战略发声,强调做模型要坚持长期主义和延迟满足,反对用"蒸馏"他人成果换取短期榜单排名。他甚至要求对内部开源模型严禁蒸馏,并通过API检测等方式加以限制,认为蒸馏会干扰真正的长期技术突破。
字节跳动CEO梁汝波在8月6日的2026年中全员大会上进一步阐述了上述立场。他表示,字节在大语言模型领域会继续坚持自研、做好基本功,接受短期落后以优化长期表现。梁汝波将"优化长期"定义为用户和增量社会价值,在AI业务上则体现为相信AGI、坚持自研。他特别回应了外界猜测,澄清称坚持自研并非源于外部压力,而是希望团队"延迟满足感,打好技术基础",这对长期实现AGI至关重要。
从张一鸣到梁汝波,字节跳动高层近期密集发声,不仅是对内统一研发思路,也意在向外界释放明确信号:字节无意跟随行业既有技术路线内卷,而是试图走出一条独立的技术成长曲线。