HealthGPT 使用与启动指南
HealthGPT 项目地址: https://gitcode.com/gh_mirrors/hea/HealthGPT
1. 项目介绍
HealthGPT 是一个先进的医疗大型视觉-语言模型,具有统一的框架,集成了医疗视觉理解和生成能力。本项目提出了一种异质低秩适应(H-LoRA)和三阶段学习策略,使预训练的大型语言模型能够有效地遵循视觉理解和生成指令。
2. 项目快速启动
环境准备
首先,克隆我们的仓库并创建 Python 环境以运行 HealthGPT:
# 克隆项目
git clone https://github.com/DCDmllm/HealthGPT.git
cd HealthGPT
# 准备 Python 环境
conda create -n HealthGPT python=3.10
conda activate HealthGPT
pip install -r requirements.txt
准备预训练权重
HealthGPT 使用 clip-vit-large-patch14-336
作为视觉编码器,并使用 Phi-3-mini-4k-instruct
和 phi-4
作为 HealthGPT-M3 和 HealthGPT-L14 的预训练 LLM 基础模型。请下载相应的权重:
- 视觉编码器:
clip-vit-large-patch14-336
- HealthGPT-M3 基础模型:
Phi-3-mini-4k-instruct
- HealthGPT-L14 基础模型:
phi-4
下载后,将 last.ckpt
和 model.yaml
文件放在 taming_transformers/ckpt
目录下。
推理
以医疗视觉问答为例,执行以下步骤进行推理:
# 运行推理脚本
cd llava/demo
bash com_infer.sh
或者直接在终端运行以下 Python 命令:
python3 com_infer.py \
--model_name_or_path "microsoft/Phi-3-mini-4k-instruct" \
--dtype "FP16" \
--hlora_r "64" \
--hlora_alpha "128" \
--hlora_nums "4" \
--vq_idx_nums "8192" \
--instruct_template "phi3_instruct" \
--vit_path "openai/clip-vit-large-patch14-336/" \
--hlora_path "path/to/your/local/com_hlora_weights.bin" \
--fusion_layer_path "path/to/your/local/fusion_layer_weights.bin" \
--question "你的问题" \
--img_path "path/to/image.jpg"
请将 path/to/your/local/com_hlora_weights.bin
和 path/to/your/local/fusion_layer_weights.bin
替换为实际的权重文件路径。
3. 应用案例和最佳实践
- 案例 1: 使用 HealthGPT 进行医疗图像的问答。
- 案例 2: 利用 HealthGPT 生成医疗图像描述。
4. 典型生态项目
- 项目 A: 集成 HealthGPT 到医院的信息系统中,提供智能问答服务。
- 项目 B: 利用 HealthGPT 为远程医疗服务生成详细的图像描述。
HealthGPT 项目地址: https://gitcode.com/gh_mirrors/hea/HealthGPT
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考