GitHub

阿里巴巴上周开源了ZeroSearch，它是一个强化学习框架，鼓励大型语言模型在训练期间透过模拟搜寻进行学习，取代与真实搜寻引擎的互动，有望大幅减少9成的训练成本。

阿里巴巴通义实验室（Tongyi Lab）亦发表相关研究论文，表明有效的资讯搜寻对于强化大型语言模型的推理及生成能力非常重要，最近的研究多半是让模型直接与真实搜寻引擎互动，藉由强化学习来增加模型的搜寻及判断能力。

然而，这些方法也存在着挑战，例如搜寻引擎所回应的文件品质难以控制，而替训练过程带来噪音与不稳定，或者是属于高频训练的强化学习可能涉及数十万次的搜寻请求，产生大量的API费用，因而限制其扩展性。

为了解决这些问题，通义团队设计出ZeroSearch，让LLM在训练阶段无需仰赖真实搜寻引擎，就能培养出良好的搜寻能力。具体方法包括先利用轻量的监督微调，将LLM打造成具备检索能力的模拟搜寻模组，可在面对查询时同时生成相关与噪音文件；接着进入课程学习阶段，逐步降低所生成文件的品质，让模型面对愈来愈具挑战性的检索场景，以提升模型的推理能力。

研究人员比较了使用 Qwen-2.5-3B、7B、14B 等不同大小的模型，在提示与微调训练下模拟搜寻引擎的表现，并将这些结果与 Google 搜寻进行比较。

实验结果显示，ZeroSearch利用3B大型语言模型作为检索模组时，即可有效地激励LLM的搜寻能力；而当採用7B模型作为检索模组时，效能已与Google搜寻相当；若採用14B的检索模组，甚至可超越Google。该团队认为，这证明了在强化学习设定中，使用一个训练有素的LLM来代替真实搜寻引擎是可行且有效的。

在训练成本上，于AWS上以Qwen-2.5-7B训练12小时，处理6.4万次请求的成本为35.4美元，而使用Google搜寻API的成本则高达586.7美元，即使升级到Qwen-2.5-14B模型，成本也只要70.8美元，展现出极具竞争力的成本效益。