AMiner推荐论文：Visually Grounded Reasoning across Languages and Cultures

论文链接：
https://www.aminer.cn/pub/6153e02c5244ab9dcb39bc66?f=cs
如今，应用广泛的视觉和语言数据集以及预训练编码器都是直接采用 ImageNet 的概念和图像，或从中获得灵感。但人们很难指望这种基准对计算机视觉做出多大贡献，因为它的数据来源主要是英文的词汇数据库和图像查询，会带有北美或西欧的数据偏见。
为了克服这些偏见，来自剑桥大学等机构的研究者设计了一种新的 protocol 来构建一个代表更多语言和文化的 ImageNet 风格的层次结构，让概念和图像的选择完全由母语人士驱动，而不是自动抓取它们。具体来说，他们关注的是一组不同类型的语言，即印尼语、简体中文、斯瓦希里语、泰米尔语和土耳其语。我们通过要求注释者比较和对比图像对来引出母语描述，任务是确定这些基础描述是真是假。借助这种方法，他们创建了一个基于视觉、语言多元文化推理（Multicultural Reasoning over Vision and Language，MaRVL）的多语言数据集。
AMiner,让AI帮你理解科学！https://www.aminer.cn