70、四格漫画故事数据集与漫画书图像分析的多任务模型研究

四格漫画故事数据集与漫画书图像分析的多任务模型研究

四格漫画故事模式与数据集构建

四格漫画在日本十分流行，其故事模式可分为结构和内容两方面。结构上有重复、突然、有标题、递归、参照、连接等多种类型。例如重复模式中，第一、二场景和第三、四场景的对象过渡连续且相似，且第三、四场景的面部和语言表达通常更强；突然模式则是第一场景出现意外或特殊事件，其他场景重要性相对较低。

故事类型分为单故事和多故事，单故事在一个四格漫画中结束，多故事则需阅读多个四格漫画才能理解。在本次研究中，主要关注一般和突然两种结构故事模式，内容方面则考虑元情节，即排除命名实体的抽象文本。

数据集构建概念

作者创建了角色和位置信息、十个元情节和情节。由五位擅长不同绘画风格（搞笑、少年、青年、少女、萌系）的专业漫画艺术家，基于两种结构故事模式创作了 100 部漫画和二十种场景。不同绘画风格即使故事相同，表达也会有所不同，如搞笑风格倾向于使用夸张的表情和有趣的外观，萌系风格则倾向于用圆润的轮廓表达可爱。

数据集创建过程

1. 定义角色和位置信息（作者）
   • 提供角色信息
   • 提供位置信息
2. 创建元情节（作者） ：元情节是参照流行故事情节定义的模板情节，有多个空白处需填入具体词汇，假设四格漫画的笑点可归类为固定的故事模式。
3. 基于元情节创建情节（作者） ：情节是整个场景的框架，作者手动从元情节中输入词汇创建情节，此步