大模型好多,但一般来说你只需要关注那些被打上SOTA标签的模型,SOTA(State of the Art) 就是最前沿、当前最佳的意思,简单说就是“好牛”。
但吹牛是没用的,机器学习领域有一系列公认的方法来评估模型的先进性。
例如,要判断看图聊天的模型是否是SOTA,方法是给图中的11个任务类别和28个数据集里的每个任务制定一个10-15个不同的指令模板,然后和其它的同类SOTA模型做一些比较,这就像在固定赛道赛马一样,结果通常需要在Paper里体现。这一切应该是始于2010年的 Imagenet。

然而,SOTA很重要,但有时也不重要。如果一个模型通过一些新的观念和方法给人们带来巨大的启发,那么测试结果哪怕不是当前最佳也是一个好模型。
最近华人发布的开源模型 InstructBLIP 就在多项看图聊天的 SOTA上领跑,有些还要强于GPT4:https://arxiv.org/pdf/2305.06500.pdf
文章讨论了如何通过标准评估方法确定机器学习模型的先进性,特别是看图聊天模型。SOTA模型如InstructBLIP,尽管其性能在多个任务上领先,包括超过GPT4,展示了新观念和方法的重要性。ImageNet挑战自2010年以来对这一领域的发展起到了关键作用。

6104

被折叠的 条评论
为什么被折叠?



