LLaVA-Mini 项目使用教程

LLaVA-Mini 项目使用教程

1. 项目目录结构及介绍

LLaVA-Mini 是一个统一的大型多模态模型（LMM），能够高效地支持图像、高分辨率图像和视频的理解。以下是项目的目录结构及其介绍：

• assets/: 存放项目所需的静态资源文件。
• docs/: 包含项目的文档文件。
• llava/: 实现模型的 Python 代码。
• llavamini/: 包含 LLaVA-Mini 模型的具体实现。
• playground/: 提供了一些示例和测试代码。
• scripts/: 包含项目运行所需的脚本文件。
• LICENSE: 项目的 Apache-2.0 许可文件。
• README.md: 项目的说明文档。
• cog.yaml: 配置文件，用于定义项目的一些基本设置。
• pyproject.toml: Python 项目配置文件。
• test.sh: 用于测试项目的脚本文件。
• webui.sh: 启动项目 Web 界面的脚本文件。

2. 项目的启动文件介绍

项目的启动文件主要涉及以下几个脚本：

• webui.sh: 用于启动 LLaVA-Mini 的 Web 界面，便于交互式操作。
• test.sh: 用于运行测试用例，验证模型的正常运行。

启动 Web 界面的示例命令如下：

python -m llavamini.serve.gradio_web_server --controller http://localhost:10000 --model-list-mode reload --port 7860

3. 项目的配置文件介绍

项目的配置文件主要有以下几个：

• cog.yaml: 定义了项目的一些基本配置，如模型路径、端口等。
• pyproject.toml: 定义了项目的依赖和构建系统。

在 cog.yaml 文件中，你可能需要修改以下配置项：

model_path: ICTNLP/llava-mini-llama-3.1-8b  # 模型文件路径
model_name: llava-mini  # 模型名称

在 pyproject.toml 文件中，你可以添加或修改依赖项，例如：

[project.dependencies]
python = "3.10"

确保在运行项目之前，所有配置项都已经正确设置。