
微软发布最新的轻量级语言模型Phi-4,这是一款拥有140亿参数的小型语言模型,儘管参数规模较小,Phi-4除了展现语言处理能力外,还具备良好的数学推理能力,效能足以媲美如Llama等更大型的模型。Phi-4显示轻量模型也能追求高效能的可能性。
小型语言模型优势在于资源效率和应用灵活性,相较于需要庞大运算资源的大型语言模型,小型语言模型对硬件需求较低,使开发者能以更低成本进行部署,甚至适用于边缘装置或行动设备。此外,小型语言模型的运算速度快、延迟低,特别适用于需要即时回应的场景。
Phi-4是微软Phi系列语言模型的新成员,专注于在有限参数下提升数学推理能力与语言处理精準度。根据微软的资料显示,Phi-4在数学竞赛问题的表现,甚至超越了一些参数更大的模型,例如Llama 700亿参数版本及其他知名的大型模型。。
微软解释,之所以Phi-4在基準测试中可以达成良好的效果,得益于资料集品质的提升,包括採用高品质合成资料以及精心收集的真实资料,再加上创新的后训练技术,大幅提升了模型推理精準度。Phi-4目前已在微软的Azure AI Foundry平台上提供,并计画在之后登陆Hugging Face,进一步扩大应用场景。