Al+医学，用这个中文多模态医学大模型帮你看胸片

随着人工智能技术的飞速发展，AI 在医学领域的应用已经成为现实。特别是在医学影像诊断方面，AI 大模型技术展现出了巨大的潜力和价值，但目前针对中文领域医学大多模态大模型还较少。

今天马建仓为大家介绍的这款 XrayGLM，就是由澳门理工大学应用科学学院的檀韬副教授和彭祥佑老师指导，硕士生王荣胜、段耀菲、李俊蓉完成的中文多模态医学大模型。

项目名称： XrayGLM

项目作者： 澳门理工大学应用科学学院

开源许可协议： CC BY-NC-SA

项目地址：gitee.com/WangHaoyuuu…

XrayGLM 团队借助了 ChatGPT 以及公开的数据集，构造了一个X光影像-诊断报告的医学多模态数据集，随后将构建的中文胸部X光片诊断数据集在 VisualGLM-6B 进行微调训练，并开放了部分训练权重用于学术研究。

数据集来源

XrayGLM 团队选择了 MIMIC-CXR 和 OpenI 两个数据集，MIMIC-CXR 是一个公开可用的胸部X光片数据集，包括377,110张图像和227,827个相关报告，OpenI 是一个来自印第安纳大学医院的胸部X光片数据集，包括6,459张图像和3,955个报告。

为了生成合理的医学报告，XrayGLM 团队对两个数据集进行了预处理，并最终得到了可以用于训练的英文报告。除此之外，为了更好的支持中文社区发展，借助 ChatGPT 的能力将英文报告进行了中文翻译，并最终形成了可用于训练的数据集。

快速上手

1.安装环境

# 安装依赖
pip install -r requirements.txt
# 国内换源安装依赖
pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements.txt

此时默认会安装deepspeed库（支持sat库训练），此库对于模型推理并非必要，同时部分Windows环境安装此库时会遇到问题。 如果想绕过deepspeed安装，可以将命令改为：

# 安装依赖
pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements_wo_ds.txt
# 安装SwissArmyTransformer
pip install -i https://mirrors.aliyun.com/pypi/simple/ --no-deps "SwissArmyTransformer>=0.3.6"

2.模型推理

CLI推理

python cli_demo.py --from_pretrained checkpoints/checkpoints-XrayGLM-3000 --prompt_zh '详细描述这张胸部X光片的诊断结果'

WebUI运行

python web_demo.py --from_pretrained checkpoints/checkpoints-XrayGLM-3000

此时访问http://127.0.0.1:7860即可

XrayGLM 团队也分享出了 XrayGLM 的微调实践教程，感兴趣的开发者可以前往图中频道或直接访问项目仓库了解更多详情：gitee.com/WangHaoyuuu…

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。