HealthGPT项目安装与配置指南

HealthGPT项目安装与配置指南

HealthGPT 项目地址: https://gitcode.com/gh_mirrors/hea/HealthGPT

1. 项目基础介绍

HealthGPT是一个先进的医疗领域大型视觉-语言模型，具有统一的框架，能够整合医疗视觉理解和生成能力。该项目旨在通过异质知识适配，提高预训练大型语言模型在视觉理解和生成指令方面的效率。

主要编程语言：Python

2. 项目使用的关键技术和框架

• 视觉编码器：使用clip-vit-large-patch14-336作为视觉编码器。
• 预训练语言模型：HealthGPT-M3使用Phi-3-mini-4k-instruct，HealthGPT-L14使用phi-4作为基础模型。
• 异质低秩适配（H-LoRA）：通过训练少量的H-LoRA参数和适配层，增强模型在医疗视觉理解和生成方面的能力。
• 任务特定硬路由：选择视觉特征以适应不同任务。

3. 项目安装和配置的准备工作

准备工作

• 确保安装了Git和Python环境。
• 准备一个conda环境用于项目。

安装步骤

1. 克隆项目仓库：

   git clone https://github.com/DCDmllm/HealthGPT.git
   cd HealthGPT
   

2. 创建Python环境并安装依赖：

   conda create -n HealthGPT python=3.10
   conda activate HealthGPT
   pip install -r requirements.txt
   

3. 准备预训练权重文件：

   • 下载对应的视觉编码器权重文件（clip-vit-large-patch14-336）并放置在taming_transformers/ckpt目录下。
   • 根据模型配置（HealthGPT-M3或HealthGPT-L14），下载对应的预训练语言模型权重文件（Phi-3-mini-4k-instruct或phi-4）。
   • 对于医疗视觉生成任务，下载VQGAN OpenImages (f=8), 8192模型权重文件。

4. 准备H-LoRA和适配层权重文件：

   • 根据需求下载对应的H-LoRA和适配层权重文件。

5. 运行示例脚本进行推断（以下命令仅供参考，需要根据实际路径和文件名进行调整）：

   cd llava/demo
   bash com_infer.sh
   

   或者直接运行Python命令：

   python3 com_infer.py \
   --model_name_or_path "microsoft/Phi-3-mini-4k-instruct" \
   --dtype "FP16" \
   --hlora_r "64" \
   --hlora_alpha "128" \
   --hlora_nums "4" \
   --vq_idx_nums "8192" \
   --instruct_template "phi3_instruct" \
   --vit_path "openai/clip-vit-large-patch14-336/" \
   --hlora_path "path/to/your/local/com_hlora_weights.bin" \
   --fusion_layer_path "path/to/your/local/fusion_layer_weights.bin" \
   --question "Your question" \
   --img_path "path/to/image.jpg"
   

请确保替换示例中的路径和参数以匹配您的本地文件和配置。

HealthGPT 项目地址: https://gitcode.com/gh_mirrors/hea/HealthGPT