商汤开源 SenseNova-Vision:统一视觉理解与生成

7 月 13 日,商汤科技开源了日日新 SenseNova-Vision,一个既能理解图像内容、也能生成图像的视觉大模型。模型权重和代码都已公开,还附带了一个 5000 万条样本的视觉指令数据集 SenseNova-Vision Corpus-50M。

一个模型搞定两件事

多数视觉模型要么擅长理解(检测图片里有什么物体、什么位置),要么擅长生成(根据文字画出图像)。SenseNova-Vision 把这两件事合到一个模型里。官方称这个模型在四个核心视觉方向——检测、分割、深度估计、多视角 3D 几何——上都有不错的表现。

横向对比结果也印证了这一点。在语义理解类任务上,SenseNova-Vision 超过了专门做语义理解的 Youtu-VL 等模型。在图像生成维度,它在核心指标上也超过了 Vision Banana 这类生成模型。能做到这点,靠的是模型内部的结构化视觉理解和稠密几何预测能力。

5000 万样本的数据集一并开源

除了模型本身,商汤还放出了 SenseNova-Vision Corpus-50M,一个含 5000 万条样本的视觉指令数据集。这个规模在开源视觉指令数据里算比较大的,意味着研究人员不用从零开始收集训练数据,可以直接在这个数据集上微调或做二次开发。

商汤的开源路线

商汤一直做计算机视觉起家,从人脸识别到自动驾驶都覆盖过。这次把统一视觉模型开源,算是延续了公司近年来的开放策略——模型本身可以自由下载、商用,数据集也一并放出。对视觉领域的研究者和开发者来说,多了一个可用的统一模型选项。