本文介绍了如何在深度学习环境中利用LXD实现GPU资源的虚拟化和用户隔离，避免硬件浪费和安全性问题。通过LXC容器，实现了独立、隔离、自由的用户环境，同时确保GPU和其他硬件资源的高效利用。配置流程包括安装NVIDIA驱动、CUDA、Anaconda，以及设置容器环境，最终通过模板创建用户容器，实现用户对GPU的直接访问。
搭建需求
由于当前算法和模型对GPU的强烈需求，实验室购置了一台性能强悍的GPU云服务器供大家一起使用。如果所有人对这台服务器拥有控制权是十分危险的，例如误删除他人文件，弄乱他人环境等。最简单的方法是为每位同学配置一台虚拟机，但硬件虚拟化造成大量的资源浪费，同时GPU并不支持常规的虚拟化。
•云计算资源因安全措施考虑会进行如下设置：•设置访问白名单，限制仅实验室环境下访问。外部环境若需要访问计算资源，需先通过VPN接入实验室内网•仅开放用于SSH连接的端口到公网
基于上述背景整理提出以下需求：
•独立：不同用户的环境相互独立，可同时使用。•隔离：用户不能直接操作宿主机，即用户不能逃逸至宿主机。用户访问宿主机的唯一通道是共享文件夹。•自由：用户可以像使用一台自己的Linux机器一样，通过SSH访问，并拥有主机的所有权限。•GPU：核心需求，每位同学可以直接访问GPU和使用宿主机的所有资源，包括CPU、内存、硬盘等。•可控：管理员可以较为方便对每位同学的机器进行管理，如资源争抢严重时，限制每位同学的资源使用上限（GPU, CPU, 内存等）•开销: 为满足这些需求，额外的开销应该尽可能小到可以忽略。•利用率：公用算力的资源应该能得到最大化的利用•复杂度：整套解决方案不能太复杂，便于维护
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
