最新消息:关注人工智能 AI赋能新媒体运营

Neon与Castform发布4B文档搜索模型:准确率超GPT-4o,成本降至1%

科技资讯 admin 浏览

4B小模型逆袭:强化学习训练后搜索准确率超GPT-5.6Sol,成本仅百分之一

Neon与Castform联合发布了一款4B参数的开源模型,经强化学习后训练,在文档搜索任务上的准确率超越GPT-5.6Sol,而单次推理成本仅为后者的约1%。

这一成果的核心在于对搜索范式的重新设计。当前文档检索主流采用嵌入式搜索,即将文档转化为数值化向量后匹配相似内容。但随着AI智能体普及,搜索正向"智能体式搜索"演进:模型将复杂问题拆解为多个子问题,自主决定搜索查询、检视结果、再发起下一轮搜索,循环直至获取所需信息。这种模式能处理更复杂的问题,但代价高昂——据Neon数据,GPT-5.6Sol单次搜索请求耗时超10秒,成本约0.03美元。

双方分工明确:Neon提供文档存储与搜索能力,Castform负责训练模型判断"该搜什么"。训练采用强化学习机制,模型先尝试完成任务,系统对结果评分并直接反馈至下一轮迭代。评估维度涵盖最终答案正确性、是否找到正确文档、是否引用合适段落等。最终,Castform后训练的模型在Neon验证中获得平均评估分1.447,超过GPT-5.6Sol的1.369及对照组GPT-5.4的1.377,刷新该验证纪录。

成本差距更为显著:这款4B模型单次推理成本0.000929美元,GPT-5.6Sol则为0.087338美元,相差约94倍。以4B参数实现GPT-5.6Sol级别的搜索精度,同时将推理开销压至近乎可忽略,对于依赖多轮模型调用的智能体应用而言,单位成本结构已被彻底改写。