IG-VLM 项目使用说明

IG-VLM 项目使用说明

IG-VLM 项目地址: https://gitcode.com/gh_mirrors/ig/IG-VLM

1. 项目目录结构及介绍

IG-VLM 项目的目录结构如下所示：

IG-VLM/
├── data/                      # 存放数据集相关文件
│   ├── open_ended_qa/         # 开放式问题数据集
│   ├── multiple_choice_qa/    # 多项选择题数据集
│   └── text_generation_benchmark/ # 文本生成性能数据集
├── evaluation/                # 评估脚本和结果
├── example/                   # 示例代码和配置
├── model_processor/           # 模型处理相关代码
├── pipeline_processor/        # 管道处理相关代码
├── vision_processor/          # 视觉处理相关代码
├── .DS_Store                  # Mac OS X 系统的目录元数据文件
├── .gitignore                 # Git 忽略文件
├── LICENSE                    # 项目许可证文件
├── README.md                  # 项目说明文件
├── eval_gpt4v_multiplechoice.py # GPT-4V 多项选择题评估脚本
├── eval_gpt4v_openended.py    # GPT-4V 开放式问题评估脚本
├── eval_gpt4v_textgeneration_openended.py # GPT-4V 文本生成性能评估脚本
├── eval_llava_multiplechoice.py # LLaVA 多项选择题评估脚本
├── eval_llava_openended.py    # LLaVA 开放式问题评估脚本
├── eval_llava_textgeneration_openended.py # LLaVA 文本生成性能评估脚本
└── requirements.txt           # 项目依赖文件

• data/：存放与项目相关的数据集文件，包括开放性问题、多项选择题和文本生成性能的数据集。
• evaluation/：包含评估脚本和结果输出文件夹。
• example/：提供示例代码和配置文件，帮助用户理解项目结构和代码如何运作。
• model_processor/、pipeline_processor/、vision_processor/：这些文件夹包含处理模型、管道和视觉数据的代码。
• .DS_Store：这是Mac OS X系统在打开文件夹时自动生成的文件，用于存储目录的自定义属性。
• .gitignore：指定Git应该忽略的文件和目录。
• LICENSE：项目的许可证信息，本项目采用BSD-3-Clause协议。
• README.md：项目的详细说明文件，包括项目背景、使用方法和依赖安装等。
• eval_gpt4v_*、eval_llava_*：这些脚本用于评估模型在不同任务上的表现。

2. 项目的启动文件介绍

项目的启动文件主要是各个评估脚本，例如：

• eval_gpt4v_openended.py：用于执行GPT-4V模型在开放式视频问题回答任务上的评估。
• eval_llava_multiplechoice.py：用于执行LLaVA模型在多项选择题视频问题回答任务上的评估。

启动文件通常需要以下参数：

• --path_qa_pair_csv：指定QA对CSV文件的路径。
• --path_video：指定视频文件的路径。
• --path_result：指定评估结果输出的路径。
• --api_key：API密钥，用于访问模型API。
• --llm_size：LLM模型的大小，例如7b、13b或34b。

运行示例：

python eval_llava_openended.py --path_qa_pair_csv ./data/open_ended_qa/ActivityNet_QA.csv --path_video /data/activitynet/videos/%s.mp4 --path_result ./result_activitynet/ --api_key {api_key} --llm_size 7b

3. 项目的配置文件介绍

本项目主要的配置文件是requirements.txt，该文件列出了项目运行所依赖的Python包，例如：

Pytorch
transformers

安装依赖包的命令如下：

pip install -r requirements.txt

此外，各个评估脚本可能也会有一些配置选项，这些通常通过命令行参数进行指定。例如，指定模型大小、数据路径等。具体的配置参数会在脚本的命令行界面中提供。

IG-VLM 项目地址: https://gitcode.com/gh_mirrors/ig/IG-VLM