VCR数据集各字段和属性解析

最新推荐文章于 2025-10-04 12:17:30 发布

原创

最新推荐文章于 2025-10-04 12:17:30 发布 · 1.7k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习

这篇博客详细解析了VCR数据集的结构，包括train/val/test set的JSON文件，重点介绍了objects、img_fn、metadata_fn、question、answer_choices、answer_label、rationale_choices和rationale_label等关键标注。metadata_fn指向的JSON文件包含boxes、segms、names等属性，描述了图像中的物体信息。此外，还讨论了数据集的推荐存放结构和更多细节信息。

annotation files

数据集通过三个jsonl文件（train.jsonl，val.jsonl，test.jsonl）划分成train/val/test set. 在这些文件中，每一行代表一个JSON对象，代表相应数据集中的一个item。

一些重要标注

objects：
每张图片上被检测到的object的列表。如[“person”, “person”, “horse”, “horse”, “horse”, “horse”]
img_fn：
在vcr1images目录内的图片的文件名。如"lsmdc_3042_KARATE_KID/3042_KARATE_KID_02.01.03.657-02.01.12.044@0.jpg"
metadata_fn：
vcr1images目录内图片的json格式的信息描述。如
“lsmdc_3042_KARATE_KID/3042_KARATE_KID_02.01.03.657-02.01.12.044@0.json”（每张图片对应一个json描述文件）
question：
原始问题的分词版本。是由目标检测获取到的tag和自然语言组成的列表，形如 [“What”, “are”, [0,1], “doing”, “?”]，其中0和1对应objects中的元素的索引。
answer_choices：
对问题给出的可选答案列表。每个问题提供4个候选答案。格式和问题一致（tag+自然语言）。如
[[[0], “is”, “feeling”, “amused”, “.”], [[0], “is”, “upset”, “and”, “disgusted”, “.”], [[0], “is”, “feeling”, “very”, “scared”, “.”],

最低0.47元/天解锁文章