
Docker
文章平均质量分 73
Arnold-FY-Chen
On the way of AI spiritual practice...
展开
-
Docker容器内使用matplotlib.pyplot
在Docker容器内使用matplotlib.pyplot画图在运行程序时可能报错说找不到banckend,这时需要安装tkinter原创 2022-11-19 18:28:02 · 1349 阅读 · 0 评论 -
安装CUDA时报错packages have unmet dependencies的一个可能原因
先是想着尝鲜,安装了最新的CUDA11.4:wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-ubuntu1804.pinsudo mv cuda-ubuntu1804.pin /etc/apt/preferences.d/cuda-repository-pin-600wget https://developer.download.nvidia.com/compute/c...原创 2021-08-14 19:53:55 · 7115 阅读 · 1 评论 -
NVIDIA Jetson板子上安装nvidia docker需要注意的问题
一般来说,使用NVIDIA官网上下载的sdk image烧写入SD卡或者使用sdk manager/jet package连到板子安装全部软件后,里面什么都有了,包括docker和nvidia docker里面都有了,使用nvidia docker可以把GPU用起来,但是如果误删或者不小心弄坏了docker,或者为了减少发布系统的image的大小,尽量减少不需要安装的软件包,比如想从最基本的Basic Packages for L4T 开始根据需要一点一点的添加,那么自己安装nvidia doc...原创 2020-08-22 12:54:23 · 14743 阅读 · 34 评论 -
Ubuntu里设置docker容器内的服务随开机自动启动
要让docker容器内的服务能在开机加电后自动启动,要解决三个问题:1.docker服务能随OS启动而启动2.docker容器能随docker服务启动而启动3.docker容器内的服务能随docker容器启动而启动 Ubuntu18.04上,docker service 默认没有enable,所以Ubuntu18.04启动后不会自动启动docker service...原创 2020-04-19 16:04:20 · 9052 阅读 · 4 评论 -
我的AI之路(47)--使用自己的数据集训练EfficientDet
训练用的服务器的芯片一般都是X86架构的,所以可以直接从hub.docker.com上拉个安装了pytorch的镜像下来作为训练用的环境,省去了很多安装步骤,例如拉取pytorch/pytorch:1.3-cuda10.1-cudnn7-devel(注意一般不要使用runtime镜像,runtime镜像里面只安装了最小的支持环境,很多工具都没安装,devel镜像一般是比较全面的):...原创 2020-04-12 23:06:11 · 3120 阅读 · 21 评论 -
制作支持GPU的用于部署AI模型的ARM64版docker镜像
hub.docker.com上绝大部分镜像都是只能在X86平台上使用的,arm上的很少,arm64上的装有Ubuntu18.04的只找到个arm64v8/ubuntu:18.04镜像,pull下来后使用过,里面很多东西没安装,连基本的vim都没有安装,而且安装完一些支持包后使用nvidia-docker run 创建的容器里面GPU设备总是找不到,GPU测试通不过,虽然CUDA和cuD...原创 2020-04-12 21:05:13 · 3701 阅读 · 40 评论 -
如何查看并准确找到占用GPU的程序
有时多人都在一段时间内同时使用公司共用的服务器上的GPU训练,有的网络的代码写得不好,虽然是按需获取GPU内存但停止训练了却仍然占用GPU没放,有的则采取的是预分配机制,一开始运行加载训练好了的模型时就占用大量内存(比如9-10G),没有进行识别推理也占用内存不放,多人共用的环境如果有人用完不及时停掉相关程序,很多GPU就被占了但空闲在那里,但又不好随便乱杀进程来释放,首先得确认一下...原创 2020-03-08 13:06:24 · 30987 阅读 · 0 评论 -
SELinux开启会导致Docker daemon不能启动
最近发现服务器在重启后docker服务起不来了,执行例如docker images,docker ps之类的docker命令被报错:Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?开始看到这个错误懵了,没修改过docker方面的什么东西...原创 2020-01-11 23:12:56 · 655 阅读 · 0 评论 -
我的AI之路(35)--使用tensorflow和pytorch的docker镜像
从docker远程仓库拉取自己想要的镜像,首先最好查看docker镜像的版本号TAG,以确认版本是自己想要的,查看docker镜像的版本号,需先打开网页:https://hub.docker.com/r/library/然后左上角输入名字搜索想要的镜像,比如tensorflow:在列出的结果中点击进入相应的主页后,点击Tags标签,查找自己想要的版本,然后点击右边相应的复制按钮复制...原创 2019-12-22 18:38:32 · 1790 阅读 · 0 评论 -
Docker、nvidia-container-toolkit安装与常用docker命令及docker镜像和容器的更新维护
Python的virtual env和Anaconda的env可以用来做环境隔离防止不同的模型环境之间在安装时相互影响甚至因为支持包的版本冲突导致不能同时使用,但是不具备打包发布部署的功能,想要调试好一个用于训练或者模型运行调用的环境后直接可以打包发布部署到别的linux机器上,还是非docker莫属,Docker作为隔离运行和部署的工具利器,现在使用越来越多,要想在生产环境中使用同一......原创 2019-12-22 18:03:43 · 6542 阅读 · 1 评论