最新消息:关注人工智能 AI赋能新媒体运营

Google开源Gemma 3 270M,挑战低资源部署

科技智能 admin 浏览 评论
图片来源:

hugging face

Google周四(8/14)开源Gemma?3?270M,这是Gemma系列中最轻量的版本,具备2.7亿参数,它在Pixel?9?Pro上执行25轮对话仅耗0.75%电量。该模型专为特定任务微调与装置端部署设计,具备指令遵循与文本结构化能力,而非通用型LLM。

Gemma?3?270M支援多种格式,其中INT4量化版本的记忆体需求约为240MB,相较BF16格式约400MB减少近4成,能在手机、IoT或其他低资源装置上顺利执行。

目前Gemma?3系列包含270M、1B、4B、12B与27B等不同规模版本。在Q4_0量化格式下,各模型的记忆体需求分别为240MB、892MB、3.4GB、8.7GB及21GB。Gemma?3 270M版本以最低记忆体门槛与最低功耗,成为目前系列中最适合部署于终端装置的选择。

Google也同步发布微调教学资源,包含以Hugging?Face Transformers进行全模型训练的完整流程,支援开发者针对分类、资料抽取、情绪分析等应用进行客製化。社群开发者也已透过transformers.js展示其在浏览器端的运行能力,证明Gemma?3?270M在Web环境中亦具备良好效能与可控性。

Gemma团队表示,Gemma?3?270M适合处理高频率、任务明确的应用,如情绪分析、实体辨识与查询分类;能快速微调并部署于资源有限的装置上,降低延迟与推论成本;模型可在本地执行,特别适合处理敏感资料;亦适用于开发多个专责任务的小型模型。

Gemma?3?270M与尚未开源的Gemma?3n同属Google推动装置端AI的战略布局。前者主打开源、可微调与跨平台部署,后者则针对2GB?RAM等极端低资源装置优化,用于即时与离线运行。

发表我的评论
取消评论

表情

您的回复是我们的动力!

  • 昵称 (必填)
  • 验证码 点击我更换图片

网友最新评论