1. 镜像选择与容器创建:别在第一步就踩坑
很多朋友一上来就直奔主题,想赶紧把ModelZoo跑起来,结果在第一步选镜像和建容器的时候就栽了跟头。我刚开始用昇腾的时候也这样,总觉得镜像嘛,找个最新的、名字里带“modelzoo”的准没错。结果发现,昇腾镜像仓库里那些标着“pytorch-modelzoo”的镜像,状态基本都是“停止维护”。这就好比你想装个最新的Windows系统,结果找了个十年前的安装盘,驱动和软件兼容性肯定一堆问题。
这里有个关键概念得先搞清楚:CANN版本。你可以把它理解为昇腾NPU的“CUDA”。它决定了底层计算库的能力和兼容性。如果镜像里的CANN版本太老,你后续安装新版的torch_npu适配库时,大概率会碰壁。所以,我们的策略是:找一个CANN版本较新、且仍在持续更新的基础镜像,然后自己动手在里面搭建PyTorch环境。
目前看来,ascend-mindspore这个镜像系列更新比较勤快。比如,我写这篇文章的时候,它已经更新到了CANN 8.0.RC3。为了稳妥起见,我选择了24.0.RC2-A1-ubuntu20.04这个版本。这里的“A1”对应你的NPU卡型号,如果你的卡是A2,那就选对应的A2镜像,千万别搞错,否则驱动挂载会出问题。
选好了镜像,拉取命令很简单:
docker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/ascend-mindspore:24.0.RC2-A1-ubuntu20.04
接下来是创建容器,这一步的命令参数有点长,但每个都很有讲究,漏了可能后面就报各种莫名奇妙的错:
docker run -it -u root --name train_env --shm-size=256g \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci_manager \
--device=/dev/devmm_svm \
--device=/dev/hisi_hdc \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /usr/local/Ascend/add-ons/:/usr/local/Ascend/add-ons/ \
-v /usr/local/sbin/:/usr/local/sbin/ \
-v /var/log/npu/conf/slog/slog.conf:/var/log/npu/conf/slog/slog.conf \
-v /var/log/npu/slog/:/var/log/npu/slog \
-v /var/log/npu/profiling/:/var/log/npu/profiling \
-v /var/log/npu/dump/:/var/log/npu/dump \
-v /var/log/npu/:/usr/slog \
-v /media/:/media/ \
<你的IMAGE_ID> /bin/bash
我解释几个容易忽略的点:
--shm-size=256g:共享内存设大点,很多并行编译和数据处理需要大内存,默认值太小容易导致进程崩溃。--device:这里把几个关键的NPU设备文件映射到容器里,这是容器能调用NPU算力的基础。-v挂载:这一串挂载操作,是把宿主机上已经安装好的NPU驱动、固件、日志目录等全部映射进去。核心思想是“容器只提供运行环境,硬件驱动和底层工具集用宿主机现成的”。这样能保证环境的一致性,也省去了在容器内重复安装复杂驱动的麻烦。
执行完,你就进入了一个全新的容器环境。先别急着高兴,这只是万里长征第一步,真正的“坑”还在后面等着呢。
2. 虚拟环境与PyTorch安装:版本对齐是生命线
进入容器,我们面对的是一个相对干净的Ubuntu系统。我强烈建议使用Miniconda来管理Python环境,这能把你从复杂的依赖地狱里拯救出来。安装Miniconda的步骤网上很多,这里不赘述。假设你已经装好了conda,我们创建一个专门给ModelZoo用的环境:
conda create -n modelzoo python=3.8 -y
conda activate modelzoo
为什么是Python 3.8?因为这是当前(CANN 8.0,PyTorch 1.11.0时代)兼容性验证最充分的版本。用3.9或3.10可能会遇到一些C扩展模块编译不通过的问题。
接下来是重头戏:安装PyTorch和torch_npu。这是踩坑高发区,请务必严格按照版本对应关系来操作。你的所有版本选择,都应该以昇腾官方文档的版本匹配表为准。对于我们选的24.0.RC2镜像(对应CANN 8.0.RC2),官方明确匹配的是PyTorch 1.11.0。
去官网下载对应的wheel包。注意系统架构是aarch64(华为鲲鹏或昇腾服务器通常是ARM架构):
wget https://download.pytorch.org/whl/torch-1.11.0-cp38-cp38-manylinux2014_aarch64.whl
wget https://gitee.com/ascend/pytorch/releases/download/v6.0.rc2-pytorch1.11.0/torch_npu-1.11.0.post14-cp38-cp38-linux_aarch64.whl
先安装PyTorch和Vision:
pip install torch-1.11.0-cp38-cp38-manylinux2014_aarch64.whl
pip install torchvision==0.12.0
然后安装torch_npu:
pip install torch_npu-1.11.0.post14-cp38-cp38-linux_aarch64.whl
装完,很多人会迫不及待地测试torch_npu.npu.is_available(),如果返回True就觉得成功了。别急,那只是个初步检测。真正的试金石是尝试在NPU上创建一个Tensor:
python -c "import torch; import torch_npu; torch.zeros(3,3).npu();"
大概率你会遇到第一个坑:RuntimeError: Initialize... ACL_PRECISION_MODE... error code is 500001。这个错误通常意味着torch_npu的版本与当前CANN运行时存在微妙的兼容性问题。官方发布的post14版本在某些场景下就有这个毛病。
解决方案是退回到post8版本。没错,不是越新越好。
wget https://gitee.com/ascend/pytorch/releases/download/v5.0.0-pytorch1.11.0/torch_npu-1.11.0.post8-cp38-cp38-linux_aarch64.whl
pip uninstall torch_npu -y
pip install torch_npu-1.11.0.post8-cp38-cp38-linux_aarch64.whl
2.1 破解“libgomp.so.1: cannot allocate memory in static TLS block”
换了post8版本,再次测试,你可能又会撞上第二个经典错误:ImportError: .../lib/libgomp.so.1: cannot allocate memory in static TLS block。
这个错误看着吓人,其实原理不复杂。简单说,就是系统在加载动态链接库时,用于存储“线程局部存储”的静态内存块不够用了,而conda环境自带的libgomp.so.1库(GNU OpenMP库)试图挤进去的时候失败了。
解决方法是告诉系统:“加载这个库的时候,别按常规排队了,给你开个VIP通道,优先加载”。通过设置LD_PRELOAD环境变量就能实现:
export LD_PRELOAD=$LD_PRELOAD:/miniconda/envs/modelzoo/lib/libgomp.so.1
重要提示:最好把这行命令添加到你的conda虚拟环境激活脚本中,比如/miniconda/envs/modelzoo/etc/conda/activate.d/env_vars.sh,这样每次激活modelzoo环境时都会自动设置,一劳永逸。
3. 依赖补齐:那些官方镜像里“消失”的包
解决了TLS阻塞问题,再次运行测试命令,错误信息又变了。现在它会告诉你:ModuleNotFoundError: No module named 'tbe'。
看到这个,新手最容易犯的错误就是直接pip install tbe。千万别!如果你真这么做了,接下来就会遇到No module named 'tbe.common',陷入更深的泥潭。
tbe(Tensor Boost Engine)是昇腾算子开发工具链的一部分,它通常随着CANN Toolkit一起安装,并不在PyPI上。它就在你的宿主机(或镜像)的/usr/local/Ascend/ascend-toolkit/目录下。我们需要手动找到它的Python wheel包并安装。
进入工具包目录,查找te(tbe的核心包):
cd /usr/local/Ascend/ascend-toolkit/8.0.RC2.2
find . -name "te-*.whl"
通常你能找到一个类似te-0.4.0-py3-none-any.whl的文件。用pip安装它:
pip install ./lib64/te-0.4.0-py3-none-any.whl
安装完te,再次测试,错误可能变成缺少sympy。这个就简单了,它是PyPI上的标准包:
pip install sympy
4. 路径幽灵:解决“No such file or directory: 'ccec'”
补全了Python包依赖,本以为胜利在望,结果下一个错误更让人头疼:一长串栈跟踪的末尾,指向 No such file or directory: '/usr/local/Ascend/CANN-1.84/aarch64-linux/ccec_compiler/bin/ccec'。
ccec是昇腾的C编译器,是编译计算图的关键组件。错误说在CANN-1.84这个路径下找不到它。这很正常,因为我们用的是CANN 8.0,路径根本不对。这其实是软件内部一个写死的路径配置,没有跟上版本的更新。
解决思路很“黑客”,但很有效:既然它要找那个旧路径,我们就造一个给它。
首先,我们得找到真正的ccec在哪里:
find /usr/local/Ascend -name "ccec"
假设你发现它在/usr/local/Ascend/ascend-toolkit/8.0.RC2.2/aarch64-linux/ccec_compiler/bin/ccec。
然后,我们就在/usr/local/Ascend下,创建一个它期望的目录结构,并把真实文件“嫁接”过去:
cd /usr/local/Ascend
mkdir -p CANN-1.84
cp -r ascend-toolkit/8.0.RC2.2/aarch64-linux CANN-1.84/
本质上,我们创建了一个CANN-1.84的目录,然后把8.0.RC2.2的内容链接(这里用复制)过去,欺骗了那个寻找旧路径的检查机制。
完成这一步后,再次执行Tensor创建测试。如果一切顺利,你应该能看到命令安静地执行完毕,没有抛出任何异常。为了进一步验证,可以进入Python交互环境做个简单矩阵运算:
import torch
import torch_npu
# 可能会有一个Warning: ASCEND_HOME_PATH environment variable is not set. 暂时忽略它
x = torch.randn(2, 2).npu()
y = torch.randn(2, 2).npu()
z = x.mm(y) # 在NPU上做矩阵乘法
print(z)
如果能正确打印出结果张量(并且注意看,张量设备显示应该是npu:0),那么恭喜你,最艰难的PyTorch on Ascend基础环境已经搭建成功了!那个关于ASCEND_HOME_PATH的警告不影响基本使用,它只是提示没有设置某个环境变量,在后续运行某些特定工具时可能需要配置。
5. 搞定ModelZoo源码与模型特定环境
基础环境打好了,终于可以请出今天的主角——ModelZoo了。首先确保容器里安装了git:
apt-get update && apt-get install -y git
然后克隆官方的PyTorch版ModelZoo仓库。这里建议用Gitee的源,速度更快:
git clone https://gitee.com/ascend/ModelZoo-PyTorch.git
cd ModelZoo-PyTorch
到这里,很多教程就说“环境搭建完成”了。但以我的实战经验,这才是另一个开始。ModelZoo-PyTorch是一个模型集合,每个模型子目录(例如PyTorch/built-in/cv/classification/resnet50)都可能有一个自己的requirements.txt或者环境配置说明。
绝对不要在基础环境里一股脑安装所有模型的依赖,肯定会冲突。正确的做法是:
- 确定你要跑的模型,比如你想试试
DETR。 - 进入该模型目录:
cd PyTorch/built-in/cv/detection/DETR。 - 仔细阅读
README.md,里面通常会详细说明所需的额外依赖、数据准备步骤和训练命令。 - 通常,你可以用
pip install -r requirements.txt来安装模型特定依赖。如果该模型依赖某些特殊的、版本冲突的包,我强烈建议你为这个模型再创建一个独立的conda虚拟环境,虽然管理起来稍麻烦,但能彻底避免依赖污染,保证模型可复现。
举个例子,你可能会遇到模型需要pycocotools,在ARM架构上直接pip安装可能会编译失败。这时候就需要先安装系统依赖:
apt-get install -y python3-dev
pip install cython
# 然后再尝试安装pycocotools
6. 避坑经验总结与进阶提醒
走完上面五步,一个可用的ModelZoo训练环境才算真正搭建起来。回顾整个过程,核心就是版本对齐和路径适配。昇腾的软硬件生态还在快速发展中,不同版本组件间的“磨合”需要开发者多一点耐心和技巧。
这里再分享几个我踩过坑后总结的进阶提醒:
- 性能调优:环境能跑通只是开始。在
docker run时我们设置了--shm-size=256g,如果你的实际训练数据量很大,特别是使用多进程数据加载时,要关注/dev/shm的使用情况,避免内存不足。 - 日志排查:昇腾的日志系统很详细。遇到NPU相关错误,多查看
/var/log/npu/slog/目录下的主机和设备日志,里面往往藏着错误的根本原因。 - 环境变量:虽然基础训练可能不需要,但一些高级功能(如自定义算子编译、性能 profiling)会依赖
ASCEND_HOME、ASCEND_OPP_PATH等环境变量。通常它们应该指向/usr/local/Ascend/ascend-toolkit/8.0.RC2.2这样的实际安装路径。 - 混合精度训练:如果你想使用
torch_npu的自动混合精度(AMP)功能,记得安装apex的昇腾适配版,同样需要从Gitee的release中下载对应版本的wheel包,而不是直接pip install apex。
搭建环境就像拼图,每一块都必须严丝合缝。按照这个指南一步步来,避开我提到的这些坑,你应该能顺利地在昇腾AI处理器上启动你的第一个模型训练。记住,出了问题别慌,仔细看错误信息,大部分都能在昇腾社区的官方文档和知识库中找到线索。动手试试吧,当你看到自己的模型在NPU上开始迭代时,那种成就感会让你觉得这一切的折腾都是值得的。
559



被折叠的 条评论
为什么被折叠?



