基于昇腾MindSpeed MM玩转InternVL3

本文转载自昇腾AI开发者，主要介绍如何基于MindSpeed MM，实现InternVL3的微调和推理。

原文链接：https://mp.weixin.qq.com/s/W9ObKueVsKZVguLAOJWz9g

相关介绍

书生·万象3.0（InternVL3）

2025年4月16日，上海人工智能实验室（上海AI实验室）升级并开源了通用多模态大模型书生·万象3.0（InternVL3）。通过采用创新的多模态预训练和后训练方法，InternVL3 多模态基础能力全面提升，在专家级基准测试、多模态性能全面测试中，10亿~780亿参数的全量级版本在开源模型中性能均位列第一，同时大幅提升了图形用户界面（GUI）智能体、建筑场景图纸理解、空间感知推理以及通识学科推理等方面的能力。

体验链接：

https://chat.intern-ai.org.cn/

GitHub链接：

https://github.com/OpenGVLab/InternVL

HuggingFace链接：

https://huggingface.co/collections/OpenGVLab/internvl3-67f7f690be79c2fe9d74fe9d

MindSpeed MM

MindSpeed MM是面向大规模分布式训练的昇腾多模态大模型套件，同时支持多模态生成及多模态理解，旨在为华为 昇腾芯片 提供端到端的多模态训练解决方案, 包含预置业界主流模型，数据工程，分布式训练及加速，预训练、微调、在线推理任务等特性。

MindSpeed MM Gitee链接：

https://gitee.com/ascend/MindSpeed-MM

环境安装

模型开发时推荐使用配套的环境版本，详见仓库中的“环境安装”

https://gitee.com/ascend/MindSpeed-MM/blob/master/examples/internvl3/README.md

仓库拉取：

git clone https://gitee.com/ascend/MindSpeed-MM.git
git clone https://github.com/NVIDIA/Megatron-LM.git
cd Megatron-LM
git checkout core_r0.8.0
cp -r megatron ../MindSpeed-MM/
cd ..
cd MindSpeed-MM
mkdir logs
mkdir dataset
mkdir ckpt

环境搭建：

torch npu 与 CANN 包参考链接：

https://gitee.com/link?target=https%3A%2F%2Fsupport.huawei.com%2Fenterprise%2Fzh%2Fascend-computing%2Fcann-pid-251168373%2Fsoftware

# python3.10
conda create -n test
python=3.10
conda activate test