最新消息:关注人工智能 AI赋能新媒体运营

华为昇腾0 Day适配小红书开源大模型

科技资讯 admin 浏览

小红书开源全模态大模型 dots3-note preview,昇腾超节点完成原生适配

小红书近日正式发布全新开源大模型 dots3-note preview。作为该系列首个版本,模型总参数量达 280B,激活参数量为 16B,支持文本、视觉和语音的全模态感知与理解。据官方介绍,该模型在推理、Agent 及多模态任务中的综合表现已可媲美国内外更大尺寸的主流模型。

模型发布当日,华为宣布昇腾 Atlas800A3 与 Atlas900A3SuperPoD 超节点已完成对该模型的深度适配,并通过 vLLM Ascend 开源推理引擎提供完整部署方案。

昇腾团队针对该模型进行了全链路优化,重点突破多模态处理与增量解码的性能瓶颈。在全模态端到端适配上,视觉编码器、音频特征提取与大语言模型主干推理已完全打通,保障原生多模态交互的稳定性;在框架层面,通过通信计算融合与算子重构,消除了多卡间的重复计算问题,有效提升 MoE 架构的推理吞吐量。

针对增量推理延迟问题,昇腾原生适配了 MTP 投机解码能力,单次前向可并行生成多个候选 Token 并完成校验复用,显著减少解码前向次数。上述底层优化为长程复杂任务场景的智能落地提供了算力支撑。