最新消息:关注人工智能 AI赋能新媒体运营

Meta开源参数小于10亿的MobileLLM-R1推理模型

科技智能 admin 浏览

小模型当道,Meta上周公开了参数不到10亿的推理模型MobileLLM-R1系列,都可在本地设备执行。

MobileLLM-R1是机上(on-device)型模型家族MobileLLM最新系列,为具有推理能力的文字模型。新模型包含基础模型(Base)及最终模型两类,各有三种参数量规模,分别是1.4亿、3.6亿及9.5亿。基础模型的上下文长度为4K,最终模型上下文长度为32K。

Meta说明,MobileLLM-R1并非用于聊天机器人的通用模型,而是经过监督式微调(supervised fine-tuned,SFT)训练,专用于解决数学、编程(如Python、C++)和科学问题的模型。三种规模中的MobileLLM-R1 950M预训练数据仅2TB高质量token,而总训练数据也小于5TB。但是成果优异,在多项基准测试如MATH、GSM8K、MMLU、LiveCodeBench中,结果优于以36TB token数据训练的Qwen 3 0.6B。

而和现有完整开源模型相比,小巧的MobileLLM-R1 950M模型在MATH测试的准确率是Olmo 1.24B的5倍,是SmolLM 1.7B的2倍。在编程能力上,MobileLLM-R1得分双双超越Olmo 1.24B及SmolLM 1.7B。

开发人员也可以使用vLLM推理引擎运行Meta mobileLLM-R1模型,只需将模型架构Llama4ForCausalLM注册到ModelRegistry。最新模型以Apache 2.0授权开源于Hugging Face。