
Roboflow 产品介绍
Roboflow 平台提供多种功能,包括部署(在设备、边缘、VPC 或通过 API 运行模型)、工作流(使用低代码界面构建管道和应用程序)、训练(提供托管模型训练基础设施和 GPU 访问)、标注(借助 AI 辅助数据标注快速标记图像)、宇宙(开源计算机视觉数据集和预训练模型)。
其解决方案按行业划分,涵盖航空航天与国防、汽车、消费品、能源与公用事业、医疗保健与医学、工业制造、物流、制造、媒体与娱乐、零售与服务、机器人技术、交通运输、仓储等。此外,还可探索客户故事和电子书。
资源方面,有客户故事、每周产品网络研讨会、用户论坛、推理模板、模型游乐场、转换标注格式等。还有定价、文档、博客等信息,以及搜索、登录、预约演示、开始使用等操作入口。
GPT - 5.6 系列发布
上周,OpenAI 宣布推出 GPT - 5.6 系列,引入了 Sol、Terra 和 Luna 三款模型。在发布直播中,团队着重介绍了计算机使用场景,展示了这些模型具备导航和操作桌面应用程序的能力。OpenAI 强调了 UI 代理和详细的 3D 可视化功能,而这两者都依赖于更强的视觉理解能力。
为评估这些模型的视觉能力,让它们通过了即将推出的 VLM 基准测试,该测试计划在未来几周内发布。该基准涵盖常见视觉任务,包括目标检测、计数、OCR(光学字符识别)和数据提取。
GPT - 5.6 各模型视觉能力评估
显然,Sol 是 OpenAI 迄今为止发布的最佳视觉模型,这一提升在目标检测和计数任务中尤为明显,此前 GPT - 5.5 在这些方面远落后于领先的 VLM 模型。Terra 和 Luna 的性能虽不如 Sol,但相较于 GPT - 5.5 也有显著进步。
目标检测
目标检测是 GPT - 5.6 提升最为显著的领域。在基准测试中,GPT - 5.5 的 [mAP@50] 得分为 13.8,而 Sol 达到了 46.2。Terra 和 Luna 紧随其后,分别为 44.7 和 43.3,这使得目标检测从 GPT - 5.5 的一大短板转变为 GPT - 5.6 的实用能力。
文档布局检测是 GPT - 5.6 的明显优势之一,Sol 能够很好地识别标题、段落、表格、图像和签名。许多文档处理工作流程在进行 OCR 或数据提取之前,都需要先定位页面的相关部分。
GPT - 5.6 在密集场景中也表现出色。在药丸和鸡蛋的示例中,包含许多紧密排列的相似对象,这是基于 VLM 的检测方法常见的难题。与传统检测器不同,VLM 以文本形式生成每个类别标签和坐标集,随着对象数量的增加,响应会变长,出现漏检对象、重复检测或坐标错误的风险也会增加,但 Sol 仍能在这两个场景中检测到大多数对象。
为获得最佳的检测结果,建议提示 GPT - 5.6 模型返回以图像像素为单位的绝对 XYXY 坐标,这与 Gemini 3.5 Flash 不同,后者在使用归一化到 0 - 1000 范围的 YXYX 坐标时表现最佳。在基准测试中,使用错误的坐标格式会使 GPT - 5.6 的检测性能降低约 15 mAP 点。
在少数情况下,GPT - 5.6 Sol 会在图像中看似随机的位置返回检测框,许多检测框与真实标注没有重叠或几乎没有重叠,它们往往形成不自然的布局。OpenAI 团队确认,当图像尺寸达到约 2000×2000 像素或更大时,尤其是在推理力度较低的情况下,Sol 的稳定性会下降。提高推理力度可以改善稳定性,但会增加令牌使用量、延迟和成本,在将大尺寸图像发送到 OpenAI API 之前进行调整大小或裁剪是最实用的解决方法。
目标计数
整个 GPT - 5.6 系列在目标计数任务上都有提升。在基准测试中,Sol 的准确率达到了 73.0%,高于 GPT - 5.5 的 64.9%,Terra 和 Luna 分别达到了 67.6% 和 66.2%。Luna 作为该系列中成本最低的模型,其表现仍优于 OpenAI 之前的基准模型。
作为基准测试的一部分,Sol 能够对大量重叠的金属支架进行计数,还能仅对选定计分区域内的弹孔进行计数,显示出它不仅能识别要计数的对象,还能理解规则的应用范围。
泡罩包装的计数则困难得多,在不同的提示中,要求 Sol 分别计算包装内的空槽数量和仍密封的药丸数量,重复的布局、反射以及填充和空槽之间微小的视觉差异,使这两项任务都颇具挑战性。
异常糖果的示例则暴露出另一种失败情况,Sol 给出了错误的计数,但不清楚是模型误数了糖果数量,还是误解了目标类别。
OCR 和数据提取
OCR 性能与 GPT - 5.5 相近。Sol 的平均相似度得分为 90.7%,仅比 GPT - 5.5 的 91.2% 低 0.5 个百分点,Terra 和 Luna 分别达到了 88.8% 和 88.4%。在文本提取方面,差距更为明显,Sol 的得分是 82.5%,而 GPT - 5.5 为 87.6%。Luna 和 Terra 分别为 81.4% 和 79.4%。
作为基准测试的一部分,将全文转录和目标提取分开测试,OCR 要求模型转录所有可见文本,而文本提取则要求获取特定信息。在两种情况下,Sol 在手写笔记上的表现都不错,一次能完整转录,另一次能提取出所需的日期。
Sol 在复杂视觉场景中的文本识别表现出色,它能够读取印在脏污、磨损轮胎曲面上的轮胎尺寸序列,还能从曲棍球比赛直播中提取实时比分,并以要求的格式返回答案,展示了其视觉读取和指令遵循能力。
然而,一些看似简单的提取任务仍会失败,Sol 无法读取泡罩包装上印刷的过期日期,文本过小、垂直排列、对比度低且受反射影响,可能是导致错误的原因。
GPT - 5.6 系列的权衡取舍
GPT - 5.6 系列在视觉能力提升的同时,令牌使用量也有所增加。在小规模测试中,这种差异影响较小,但在大规模应用中,令牌使用量的增加会直接提高处理成本。
在基准测试中,Sol 处理每张图像平均耗时约 10 秒,Terra 将其缩短至约 6 秒,而 Luna 仅需略超过 5 秒。Luna 在该系列中实现了延迟和质量的最佳平衡,速度接近 Gemini 3.5 Flash,同时在检测和计数任务上仍优于 GPT - 5.5。
在基准测试中,Sol 处理每张图像的成本约为 2.5 美分,是仅次于 Claude Fable 5 的第二昂贵模型。Terra 将平均成本降至每张图像约 1 美分,而 Luna 的成本不到 0.5 美分。
Gemini 3.5 Flash 每张图像的成本为 0.8 美分,远低于 Sol,同时在检测和计数基准测试中仍处于领先地位,这使其成为处理大量图像的高数据量工作负载的理想选择。还可在 Roboflow Playground 中测试 Sol、Terra 和 Luna 等模型。
总结与思考
借助 GPT - 5.6,OpenAI 与领先的 VLM 模型的差距大幅缩小。目标检测从短板变为可用能力,整个模型系列在计数任务上也有所提升。
然而,仍存在明显的局限性。在基准测试中,对于高容量的检测和计数任务,尤其是考虑到成本因素时,Gemini 3.5 Flash 仍然是更实用的选择。
GPT - 5.6 表明 OpenAI 现在更加重视视觉能力。尽管 Sol 在成本、延迟和某些不稳定检测情况方面仍存在缺陷,但其进步不容忽视。对于智能体、屏幕理解、文档工作流程和视觉推理等应用场景,此次发布使 OpenAI 成为比以往更强大的选择。那么,在未来的应用中,GPT - 5.6 能否进一步缩小与其他领先模型的差距,在成本和性能上取得更好的平衡呢?
356



被折叠的 条评论
为什么被折叠?



