德国AI协会发布开源大语言模型Soofi S30B-A3B

德国人工智能协会协调的研究联盟近日正式发布全新开源大语言模型Soofi S30B-A3B。该模型被视为欧洲在主权AI基础设施建设方面的重要进展，为开源模型领域提供了兼顾高性能与效率的新选择。

Soofi S采用"混合专家"架构，结合Mamba-2与标准注意力层。模型总参数量为316亿，但每个token仅激活约32亿参数，计算成本接近小型模型。在处理长文本场景下，该模型在4万token长度的上下文环境中，生成吞吐量达到同规模传统稠密模型的8倍左右，且随上下文增加保持稳定。

训练数据方面，Soofi S具有显著的德语偏好。在总计27万亿token的训练过程中，德语数据占比从第一阶段的7.2%提升至第二阶段的15.3%，并纳入报纸文章、维基百科及专业技术文档等多源语料。

基准测试显示，Soofi S在英语和德语综合测试中表现优于OLMo332B和Apertus70B等开源模型，在代码生成、专业推理及德国区域性知识测试中表现突出。不过，研究团队指出该模型在超长上下文提取任务及德语数学推理方面仍有提升空间。

该模型训练在德国电信位于慕尼黑的工业人工智能云上完成，使用512块Nvidia B200 GPU，全程由可再生能源驱动。作为欧洲IPCEI-CIS项目的一部分，模型权重、训练评估代码及数据清单将陆续开源。