NVIDIA 发布 Audex 音频-文本大模型，试图在音频理解中保住文本推理能力

很多多模态模型在强化音频能力时，文本逻辑反而会下滑。NVIDIA 研究团队给出的解决方案是 Nemotron-Labs-Audex-30B-A3B，简称 Audex，一个统一的音频-文本大语言模型。

Audex 的设计直截了当。它在一个纯文本 MoE（混合专家模型）架构上搭建，用单一的 Transformer 解码器统一处理文本和量化音频 token。音频输入会被平滑投影到文本嵌入空间，这让模型处理多模态任务时，可以无缝接入现有的大语言模型基础设施，不需要额外改造。

训练数据规模相当可观：1574 亿音频 token 和 3205 亿文本 token。训练过程经历了多阶段监督训练、纯文本 Cascade RL（强化学习）以及多域在策略知识蒸馏。最终，Audex 在音频理解、语音识别、翻译和音频生成等任务上达到行业前列，同时几乎没有丢失原版大语言模型在推理、对齐、知识储备和长文本处理上的核心能力，性能衰减很轻微。

Audex 已经开源，不只是停留在论文里的演示。对需要处理复杂音频交互的产品开发者来说，它提供了一个平衡性能和功能的选择，也为多模态智能体研究开了一道新门。