Scene Graph Generation by Iterative Message Passing 项目教程

Scene Graph Generation by Iterative Message Passing 项目教程

项目介绍

本项目是基于论文《Scene Graph Generation by Iterative Message Passing》实现的代码库，由Xu等人提出。该项目通过迭代消息传递的方式生成场景图，输入包括图像和图提议，输出预测的对象和关系。项目地址为：https://github.com/danfeiX/scene-graph-TF-release。

项目快速启动

安装依赖

确保你已经安装了所有必要的依赖项，并编译了所需的库。

下载数据集和模型

运行以下脚本下载mini-vg数据集和一个模型检查点：

./download.sh

可视化预测的场景图

设置GPU_ID为你想要使用的GPU的ID（例如0），然后运行以下命令：

./experiments/scripts/test.sh mini-vg -1 \
  dual_graph_vrd_final 2 \
  checkpoints/dual_graph_vrd_final_iter2.ckpt \
  viz_cls \
  GPU_ID

应用案例和最佳实践

数据集转换

项目使用的场景图数据集是VisualGenome数据集，但框架可以处理任何转换为所需格式的场景图数据集。请参考数据集README文件，了解如何将VG数据集转换为所需格式或下载预处理的数据集。

训练模型

按照项目提供的指南训练模型，以适应特定的应用场景。

典型生态项目

Img2SceneGraph

Img2SceneGraph提供了一个管道，该管道可将图像传输到具有节点属性的场景图。它可以使用各种下游任务来生成带标签的图形数据集。

Scene-Graph-Benchmark

Scene-Graph-Benchmark是一个基于PyTorch的项目，用于在Ubuntu系统下配置和训练场景图生成模型。

通过以上步骤和资源，你可以快速启动并深入了解《Scene Graph Generation by Iterative Message Passing》项目的应用和生态。