HealthGPT 使用与启动指南

HealthGPT 使用与启动指南

HealthGPT HealthGPT 项目地址: https://gitcode.com/gh_mirrors/hea/HealthGPT

1. 项目介绍

HealthGPT 是一个先进的医疗大型视觉-语言模型,具有统一的框架,集成了医疗视觉理解和生成能力。本项目提出了一种异质低秩适应(H-LoRA)和三阶段学习策略,使预训练的大型语言模型能够有效地遵循视觉理解和生成指令。

2. 项目快速启动

环境准备

首先,克隆我们的仓库并创建 Python 环境以运行 HealthGPT:

# 克隆项目
git clone https://github.com/DCDmllm/HealthGPT.git
cd HealthGPT

# 准备 Python 环境
conda create -n HealthGPT python=3.10
conda activate HealthGPT
pip install -r requirements.txt

准备预训练权重

HealthGPT 使用 clip-vit-large-patch14-336 作为视觉编码器,并使用 Phi-3-mini-4k-instructphi-4 作为 HealthGPT-M3 和 HealthGPT-L14 的预训练 LLM 基础模型。请下载相应的权重:

  • 视觉编码器:clip-vit-large-patch14-336
  • HealthGPT-M3 基础模型:Phi-3-mini-4k-instruct
  • HealthGPT-L14 基础模型:phi-4

下载后,将 last.ckptmodel.yaml 文件放在 taming_transformers/ckpt 目录下。

推理

以医疗视觉问答为例,执行以下步骤进行推理:

# 运行推理脚本
cd llava/demo
bash com_infer.sh

或者直接在终端运行以下 Python 命令:

python3 com_infer.py \
--model_name_or_path "microsoft/Phi-3-mini-4k-instruct" \
--dtype "FP16" \
--hlora_r "64" \
--hlora_alpha "128" \
--hlora_nums "4" \
--vq_idx_nums "8192" \
--instruct_template "phi3_instruct" \
--vit_path "openai/clip-vit-large-patch14-336/" \
--hlora_path "path/to/your/local/com_hlora_weights.bin" \
--fusion_layer_path "path/to/your/local/fusion_layer_weights.bin" \
--question "你的问题" \
--img_path "path/to/image.jpg"

请将 path/to/your/local/com_hlora_weights.binpath/to/your/local/fusion_layer_weights.bin 替换为实际的权重文件路径。

3. 应用案例和最佳实践

  • 案例 1: 使用 HealthGPT 进行医疗图像的问答。
  • 案例 2: 利用 HealthGPT 生成医疗图像描述。

4. 典型生态项目

  • 项目 A: 集成 HealthGPT 到医院的信息系统中,提供智能问答服务。
  • 项目 B: 利用 HealthGPT 为远程医疗服务生成详细的图像描述。

HealthGPT HealthGPT 项目地址: https://gitcode.com/gh_mirrors/hea/HealthGPT

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

柏廷章Berta

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值