VITA 项目使用与配置指南

VITA 项目使用与配置指南

VITA ✨✨VITA-1.5: Towards GPT-4o Level Real-Time Vision and Speech Interaction 项目地址: https://gitcode.com/gh_mirrors/vita/VITA

1. 项目目录结构及介绍

VITA 项目目录结构如下：

VITA/
├── asset/                     # 存放项目所需的静态资源文件
├── data_tools/                # 数据处理工具
├── script/                    # 脚本文件，包括训练、推理等
├── vita/                      # 项目核心代码
├── web_demo/                  # 网页演示相关文件
├── License.txt                # 许可证文件
├── README.md                  # 项目说明文件
├── command.sh                 # 执行脚本
├── requirements.txt           # 项目依赖文件
└── video_audio_demo.py        # 视频音频演示脚本

• asset/：包含项目使用的图像、音频等静态资源。
• data_tools/：包含数据处理相关的工具和脚本。
• script/：包含启动项目、训练模型等所需的脚本文件。
• vita/：存放项目的主要代码，包括模型定义、数据处理逻辑等。
• web_demo/：网页演示相关的代码和资源文件。
• License.txt：项目的许可证信息。
• README.md：项目的详细说明文档。
• command.sh：一个简单的shell脚本，用于执行一些命令。
• requirements.txt：项目运行所需的Python库列表。
• video_audio_demo.py：一个用于演示视频和音频处理功能的Python脚本。

2. 项目的启动文件介绍

项目的启动主要是通过脚本文件来完成的，以下是两个主要的启动脚本：

• command.sh：这是一个简单的shell脚本，可以用来执行一些基本的命令，但不是项目启动的主要脚本。
• video_audio_demo.py：这个Python脚本用于演示如何使用VITA项目进行视频和音频的处理。通过设置不同的参数，可以加载模型、指定图像或音频路径，然后运行推理过程。

启动演示脚本的基本命令如下：

CUDA_VISIBLE_DEVICES=[设备ID] python video_audio_demo.py --model_path [模型路径] --image_path [图像路径] --model_type [模型类型] --conv_mode [会话模式] --question "问题描述"

或者对于音频查询：

CUDA_VISIBLE_DEVICES=[设备ID] python video_audio_demo.py --model_path [模型路径] --audio_path [音频路径] --model_type [模型类型] --conv_mode [会话模式]

3. 项目的配置文件介绍

项目的配置主要通过以下几个文件来管理：

• dataset_config.py：这个文件用于配置数据集相关的参数，例如图像、音频等资源的路径。
• init.py：这个文件用于初始化项目配置，包括数据集配置、模型配置等。

在 dataset_config.py 中，你可以看到如下配置：

FolderDict = {
    "sharegpt4": "",
}

这里定义了数据集的目录结构，sharegpt4 是一个示例，它的路径需要根据实际情况设置。

在 init.py 中，会引入 dataset_config.py 中的配置，并初始化数据配置：

from .dataset_config import *
NaturalCap = [ShareGPT4V]
DataConfig = {
    "Pretrain_video": NaturalCap,
}

这些配置文件在项目启动时会被加载，因此需要确保所有的路径和参数设置正确，以便项目能够顺利运行。

VITA ✨✨VITA-1.5: Towards GPT-4o Level Real-Time Vision and Speech Interaction 项目地址: https://gitcode.com/gh_mirrors/vita/VITA