制作支持GPU的用于部署AI模型的ARM64版docker镜像

最新推荐文章于 2025-11-25 00:11:38 发布

原创

最新推荐文章于 2025-11-25 00:11:38 发布 · 3.9k 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#docker #nvidia #Xavier

本文详细介绍了如何在Jetson Nano上基于NVIDIA的l4t-base镜像搭建PyTorch 1.2环境，包括GPU测试、依赖包安装、PyTorch编译与验证，以及设置中文支持。

hub.docker.com上绝大部分镜像都是只能在X86平台上使用的，arm上的很少，arm64上的装有Ubuntu18.04的只找到个arm64v8/ubuntu:18.04镜像，pull下来后使用过，里面很多东西没安装，连基本的vim都没有安装，而且安装完一些支持包后使用nvidia-docker run 创建的容器里面GPU设备总是找不到，GPU测试通不过，虽然CUDA和cuDNN都可以找到，不知道具体原因，没时间进一步查找，只好改用NVIDIA提供的l4t-base镜像，在NVIDIA的l4t-base镜像上的基础上做出的镜像使用GPU是没问题的。

首先查找镜像版本:

docker search nvcr.io/nvidia/l4t-base

然后执行下列步骤拉取镜像并创建并运行容器:

docker pull nvcr.io/nvidia/l4t-base:r32.3.1
xhost +si:localuser:root
sudo docker run --runtime nvidia --network host -it --name nvidia-l4t-base-container -e DISPLAY=$DISPLAY -v /data/workspace:/home -v /tmp/.X11-unix/:/tmp/.X11-unix nvcr.io/nvidia/l4t-base:r32.3.1

在容器里安装g++和make。编译测试GPU能否使用的sample代码nbody，运行编译出的nbody，如果能弹出炫酷的动画窗口就表示没问题了：

apt-get update && apt-get install -y --no-install-recommends make g++
cp -r /usr/local/cuda/samples /tmp
cd /tmp/samples/5_Simulations/nbody
make
./nbody

测试没问题的话，接下来安装部署运行AI模型需要的若干支持包:

apt-get update
apt-get install python3-pip cmake libopenblas-dev

apt-get install python-pip #可选
apt-get install pkg-config libfreetype6-dev
&

最低0.47元/天解锁文章

40 条评论

wanghuohuo0716 2022.03.25
博主好，docker19.03后可以使用buildx构建跨平台(如arm架构和x86架构)的镜像，是不是在可以直接在xaiver上运行呢
- wanghuohuo0716回复Arnold-FY-Chen 2022.05.06
  喔喔好吧[face]emoji:010.png[/face]
- Arnold-FY-Chen回复wanghuohuo0716 2022.05.06
  跨平台构建docker image我没实验过呢
- wanghuohuo0716回复wanghuohuo0716 2022.05.06
  你好，请问你尝试了么，是否可以直接运行？

WXG1011 2021.12.30
我在镜像中已经安装了opencv，在运行镜像的时候仍提示：No module named cv2，这是什么原因呢？
- Arnold-FY-Chen回复WXG1011 2022.01.05
  你没有设置默认的python版本，你执行python默认是使用的python2，而不是python3，而你的opencv是安装的针对python3版本的，现在python2很少用了，你要么执行命令时使用python3，要么把python3设置为默认的python
- WXG1011回复Arnold-FY-Chen 2022.01.05
  基于l4t-base制作的镜像，这个里面有opencv和python吗？采用这个命令apt-get install python3-opencv安装的opencv。
- Arnold-FY-Chen回复WXG1011 2021.12.31
  你安装的opencv是针对哪个python版本的呢？你的镜像里只有一个python版本吗？
- WXG1011回复Arnold-FY-Chen 2021.12.31
  我利用dockfile打包的镜像，在dockerfile文件中，有安装opencv的命令，也已成功安装，但在运行打包后的镜像时，提示：No module named cv2。
- Arnold-FY-Chen回复WXG1011 2021.12.30
  你安装opencv时的python版本和linx用户和你使用opencv时的python版本和linux用户是否一致，一般都是因为你安装是在一个环境下，使用确在另一个环境下

lmw0320 2021.09.30
想请教下大佬：xhost +si:localuser:root命令执行结果，提示是xhost: unable to open display ""这样有什么问题呢？
- lmw0320回复Arnold-FY-Chen 2021.10.08
  好的，很感谢!!
- Arnold-FY-Chen回复lmw0320 2021.10.08
  是的
- lmw0320回复Arnold-FY-Chen 2021.10.08
  大佬，想再请教下，我用arm64板进行推理。docker环境搭建好后，用deepstream测试了一个视频文件，48秒的时长30帧的速率，结果花了30分钟才出来结果，不知道是哪里出了问题。。感觉是没调用GPU。。您在博客中的命令： sudo docker run --runtime nvidia --network host ****，是否--runtime nvidia就是类似x86中的--gpus all的命令，来调用GPU呢？恳请指点下
- Arnold-FY-Chen回复lmw0320 2021.09.30
  你是远程登录上去的吗？还是直接用键盘操作的你的Jetson板子？前者是不行的
- lmw0320回复lmw0320 2021.09.30
  另外，我看你docker run的命令中，没有设置--gpus的参数，这样可以跑GPU？还是说用参数 --runtime来设定使用GPU的？

Arnold-FY-Chen 2020.05.16
今天我加班干急活，来不及回复，现在GPU版pytorch可以用了？之前出错是不是因为你的pytorch是在之前那个容器内编译的CUDA不可用造成的？我当时只有容器内能跑nbody并且手工测试CUDA可用，编译出来的pytorch没问题

Samuel Wei 2020.05.16
弄了两天，成功配置上这个环境，中间还是有不少坑的。

Samuel Wei 2020.05.16
root@jetsonsamuel-desktop:/home# python3 test_gpu.py 1.2.0 CUDA available: False cuDNN version: None Traceback (most recent call last): File "test_gpu.py", line 5, in <module> a = torch.cuda.FloatTensor(2).zero_() TypeError: type torch.cuda.FloatTensor not available. Torch not compiled with CUDA enabled.
- Samuel Wei回复Arnold-FY-Chen 2020.05.16
  [reply]XCCCCZ[/reply]方便加个微信吗？我这里的local文件下，有cuda cuda-10.0 cuda-10.2 文件，因此我担心是否需要修改一些地方，而我未修改？
- Samuel Wei回复Samuel Wei 2020.05.16
  [reply]wmp313425[/reply]host主机也是存在的
- Samuel Wei回复Arnold-FY-Chen 2020.05.16
  [reply]XCCCCZ[/reply]在container 下 /usr/local/cuda,编译的时候存在，现在也存在
- Arnold-FY-Chen回复Samuel Wei 2020.05.16
  [reply]wmp313425[/reply]你编译pytorch时 CUDA还不可用吧？当时/usr/local/cuda路径存在吗

Samuel Wei 2020.05.16
测试的时候遇到这个问题

Samuel Wei 2020.05.16
root@jetsonsamuel-desktop:/home# python test_gpu.py 1.2.0 CUDA available: False cuDNN version: None Traceback (most recent call last): File "test_gpu.py", line 5, in <module> a = torch.cuda.FloatTensor(2).zero_() TypeError: type torch.cuda.FloatTensor not available. Torch not compiled with CUDA enabled.

Samuel Wei 2020.05.15
已经存在的，如何让他们连接起来
- Arnold-FY-Chen回复Samuel Wei 2020.05.15
  [reply]wmp313425[/reply]没事
- Samuel Wei回复Arnold-FY-Chen 2020.05.15
  [reply]XCCCCZ[/reply]l4t-base的镜像，我删了旧的container , 重新建container 解决了以上问题。应该是我装的过程有一些不当之处。我再往下走走看。谢谢你这么耐心
- Arnold-FY-Chen回复Samuel Wei 2020.05.15
  [reply]wmp313425[/reply]是直接使用的l4t-base镜像吗？还是自己制作的镜像？
- Samuel Wei回复Arnold-FY-Chen 2020.05.15
  [reply]XCCCCZ[/reply]我的是xavier
- Samuel Wei回复Arnold-FY-Chen 2020.05.15
  [reply]XCCCCZ[/reply]在host上跑./nbody没问题，在container 上就跑不了./nbody.
- Arnold-FY-Chen回复Samuel Wei 2020.05.15
  [reply]wmp313425[/reply]这些信息只是命令的参数解释呀，没见什么问题呀，你的./nbody跑不起来 ?
- Arnold-FY-Chen回复Samuel Wei 2020.05.15
  [reply]wmp313425[/reply]默认应该会创建了cuda链接指向cuda-10.0的呀，你的下面没有？你是什么板子上？是Xavier吗？还是你自己用sdk manager重装了环境？距现在16秒
- Samuel Wei回复Arnold-FY-Chen 2020.05.15
  [reply]XCCCCZ[/reply]这个问题是什么原因呢？
- Samuel Wei回复Arnold-FY-Chen 2020.05.15
  [reply]XCCCCZ[/reply]run "nbody -benchmark [-numbodies=<numBodies>]" to measure performance. -fullscreen (run n-body simulation in fullscreen mode) -fp64 (use double precision floating point values for simulation) -hostmem (stores simulation data in host memory) -benchmark (run benchmark to measure performance) -numbodies=<N> (number of bodies (>= 1) to run in simulation) -device=<d> (where d=0,1,2.... for the CUDA device to use) -numdevices=<i> (where i=(number of CUDA devices > 0) to use for simulation) -compare (compares simulation results running once on the default GPU and once on the CPU) -cpu (run n-body simulation on the CPU) -tipsy=<file.bin> (load a tipsy model file for simulation) NOTE: The CUDA Samples are not meant for performance measurements. Results may vary when GPU Boost is enabled. > Windowed mode > Simulation data stored in video memory > Single precision floating point simulation > 1 Devices used for simulat
- Samuel Wei回复Samuel Wei 2020.05.15
  [reply]wmp313425[/reply]这个问题解决了，container的samples文件在cuda-10.0文件夹下
- Arnold-FY-Chen回复Samuel Wei 2020.05.15
  [reply]wmp313425[/reply]你是自己从头做的镜像或者网上找的其他镜像吗？还是直接使用的l4t-base镜像？

Samuel Wei 2020.05.15
按照作者的操作 run 容器后，容器里面的/usr/local/cuda的文件夹下没有samples
- Samuel Wei回复Arnold-FY-Chen 2020.05.15
  [reply]XCCCCZ[/reply]host 上以及存在这个samples文件，并且也是可以正常使用gpu的，你放上来的图片，我也是运行了一样的效果。
- Arnold-FY-Chen回复Samuel Wei 2020.05.15
  [reply]wmp313425[/reply]检查你容器外的Ubuntu的 /usr/local/cuda/samples路径是否存在，容器里的CUDA实际上是挂载的外面的CUDA