英伟达发布离散扩散语言模型，文本生成速度提升2.42倍

英伟达在7月2日推出Nemotron-Labs-TwoTower离散扩散语言模型，目标直指大模型逐个Token生成速度慢的痛点。模型权重已在Huggingface开源，它基于现有Nemotron骨干网络改造，复用预训练权重，不用从零完整训练，开发成本大幅降低。

60B双塔架构，分工并行提升生成效率

模型总参数量60B，拆分成两座30B的独立神经网络协同工作，每塔激活3B参数，搭载128个可路由专家模块。上下文塔固定冻结，负责留存全文语义信息；去噪塔专门训练，依靠扩散机制并行生成文本，两塔通过交叉注意力交换数据。传统模型逐Token串行输出，双塔架构可并行写入文本，大幅拉高推理吞吐量。多类基准测试显示，模型综合能力保留原版98.7%的水准，文本生成吞吐速度直接提升到2.42倍，仅在代码、数学类任务上有小幅下滑。

模型采用英伟达开源协议开放权重，开发者可自由下载测试、商用部署。运行需要两张H100或A100 80GB显卡，单卡仅支持纯自回归模式，双塔完整推理需双卡协同。测试覆盖常识、数学、代码、阅读理解等任务，多数指标与原版基本持平，在生成速度与内容质量之间取得了平衡。