商汤发布并开源SenseNova-Vision视觉大模型
商汤科技正式发布并全面开源“日日新SenseNova-Vision”理解生成统一视觉大模型。这是商汤日日新大模型体系的视觉能力升级。
过去行业里的“统一视觉”多是把检测、分割、深度预测等几个专家模型打包封装,本质还是割裂的。SenseNova-Vision把视觉变成通用基础模型的原生能力,彻底融入大模型体系。
单模型覆盖四大视觉领域
SenseNova-Vision用单模型在四大核心视觉领域大范围领跑,比肩甚至超越各领域专用专家模型。在结构化视觉理解方面,目标检测、指代检测、OCR、关键点定位等任务全面领先同类通用模型,稠密小目标检测和长尾类别识别等复杂场景表现突出。在稠密几何预测方面,深度估计和表面法向估计精度达到几何专用模型水准,室内外多场景稳定性强。
分割能力涵盖通用分割、推理分割、交互式分割等,得益于多模态理解力,推理分割与对话式分割表现亮眼。单模型就能高质量完成多视角点云重建与相机位姿估计,性能在通用视觉路线中处于领先位置。
对比来看,SenseNova-Vision在检测、分割、深度等细节要求高的视觉任务上,全面领先语义导向模型。对比生成导向模型Vision Banana,它展现出代际优势,各项评测的绝大多数指标上均实现超越与领跑。Vision Banana只能应对四大核心板块中的两类问题,SenseNova-Vision同时覆盖结构化理解、稠密几何、全景分割、多视角3D等全任务。
商汤不仅开放了模型本身,还同步开源了包含5000万条样本的视觉指令语料库SenseNova-Vision Corpus-50M。未来,商汤会把SenseNova-Vision的核心技术全面融入日日新U系列大模型中。