字节跳动拟训练超5万亿参数大模型，挑战国产最大规模

国产大模型的参数量竞赛正在进入新阶段。据晚点 LatePost 报道，字节跳动正在讨论训练一个参数量超过5万亿的大模型，这将成为目前国内已知规模最大的模型。不过该计划仍处于早期阶段，最终是否发布尚未确定。

5万亿参数处于什么水平？这一规模被认为可与 GPT-5.6 或 Opus 5 级别相媲美。参数量越大，大模型性能通常越强，OpenAI 与 Anthropic 正是凭借更高的参数量维持技术领先。有消息称，这两家公司内部已在训练甚至完成10万亿参数大模型的准备工作。

然而，超高参数意味着巨大的算力投入。以 H100 为基准计算，训练5万亿参数大模型需要10万颗 H100 运行347天，或100万张显卡运行35天。百万卡级别已跨入 GW 级算力规模，门槛极高。字节不太可能一次性投入如此庞大的算力，更可行的方案是使用20万至30万张显卡训练3到4个月，叠加准备和后训练等环节，至少需要半年甚至一年才能成型。

从算力储备来看，OpenAI 目前最为充裕，SemiAnalysis 测算其拥有约200万张显卡；Anthropic 约62万张；DeepSeek 仅约6万张，且不少是相对落后的 H20、H800。以字节的财力，支撑5万亿参数大模型的训练并无压力。

若该模型顺利推出，豆包的能力有望达到 GPT-5.6 或 Opus 5 级别，不再被用户调侃"智商"不足。当下唯一的悬念在于商业回报——这笔天文数字的投入，能否在实际应用中换取对等的收益。