中文医疗问诊大模型 Ming（MING）安装配置完全指南

中文医疗问诊大模型 Ming（MING）安装配置完全指南

MING 明医 (MING)：中文医疗问诊大模型 项目地址: https://gitcode.com/gh_mirrors/mi/MING

一、项目基础介绍及编程语言

明医（MING）是一个基于中文的医疗问诊大模型，旨在通过智能化手段辅助医疗问答和病例分析。此项目由上海交通大学未来媒体网络协同创新中心和上海人工智能实验室智慧医疗中心联合打造。MING利用大型语言模型并经过医疗领域的特定指令微调，能够实现对医疗问题的解答、案例分析，并在多轮问诊后提供诊断建议。项目主要采用Python作为编程语言，并且与Hugging Face Transformers、PyTorch等关键技术和框架深度集成。

二、关键技术与框架

• Transformers: Google Research开源的机器学习库，特别适用于自然语言处理任务，包括预训练的语言模型。
• PyTorch: 动态计算图的深度学习框架，适合复杂的模型构建和训练。
• PEFT: 即“可插入高效微调”，一种让大型语言模型适应新任务的轻量级方法。
• Hugging Face Model Hub: 提供 Ming 的不同模型变体，如 Ming-7B、Ming-1.8B 及 Ming-MOE系列，这些模型都是基于不同的基座模型微调得到的。

三、安装与配置详细步骤

准备工作

1. 环境要求：确保你的系统已安装Python 3.9.16及以上版本，以及最新版的pip。
2. 依赖库：安装PyTorch 2.0.1+cu117及其相关依赖，还需安装PEFT库。
3. GPU资源：推荐至少有15GB显存的单块GPU来运行部分模型版本。

安装步骤

步骤1：克隆项目仓库

打开终端，执行以下命令克隆项目到本地：

git clone https://github.com/MediaBrain-SJTU/MING.git
cd MING

步骤2：安装项目依赖

在项目根目录下，使用pip安装所需的依赖项，确保使用 -e 参数以编辑模式安装，方便后续开发：

pip install -e .

步骤3：下载模型参数

根据你需要使用的模型大小（如 Ming-7B、Ming-1.8B 或 Ming-MOE），从Hugging Face Model Hub下载对应模型的检查点文件到指定路径 [path_to_checkpoint]。

步骤4：配置并运行模型

• 对于 Ming-MOE:

CUDA_VISIBLE_DEVICES=0 python -m ming.serve.cli.py \
    --model_path [path_to_checkpoint] \
    --model_base [path_to_base_model] \
    --max_new_tokens 3072

• 对于 Ming-1.8B:

CUDA_VISIBLE_DEVICES=0 python -m ming.serve.cli.py \
    --model_path [path_to_checkpoint] \
    --max_new_tokens 2048

• 对于 Ming-7B (需要注意额外参数):

CUDA_VISIBLE_DEVICES=0 python -m ming.serve.cli.py \
    --model_path [path_to_checkpoint] \
    --conv_template bloom \
    --max_new_tokens 512 \
    --beam_size 3 \
    --temperature 1.2

请替换 [path_to_checkpoint] 和 [path_to_base_model] 为你实际存放模型权重文件的路径。如果有多个GPU，可以通过修改 CUDA_VISIBLE_DEVICES 来指定使用哪一块或多块。

注意事项

• 当使用 beam_search 时，确保 temperature >= 1.0 以避免错误。
• 在开始模型服务之前，请确认已经正确设置了所有必要的环境变量和参数值。
• 对于新手用户，理解每个参数的意义对于成功部署非常关键，务必参考官方文档或源码中的注释进一步了解。

至此，您已完成了 Ming 项目的安装与基本配置，可以开始探索和利用这款强大的中文医疗问诊模型进行相关的开发和研究工作。记得在使用过程中遵循项目许可协议，尊重原创者的劳动成果，并合理合法地应用。

MING 明医 (MING)：中文医疗问诊大模型 项目地址: https://gitcode.com/gh_mirrors/mi/MING