determined机器学习平台使用说明

determined机器学习平台

背景

为了方便批量提交GPU任务，防止资源冲突导致任务异常中断，搭建了determined机器学习平台，选择这一框架的原因是一方面它提供GPU资源管理和深度学习任务的调度功能，另一方面它实现了超参搜索功能方便调参。

目前，determined主要解决了个人两个痛点：

1. GPU资源管理问题，多用户和多任务时容易抢占GPU资源导致CUDA OOM。

2. 批量GPU任务调度，大量项目视频数据需要分别训练NeRF/3DGS模型，超出了GPU数量，在命令行里手动管理任务非常低效。

环境

pip install determined

det deploy local cluster-up

添加节点

如果有多台机器，需要将其加入到determined集群。已经运行det deploy local cluster-up作为master节点，其他机器作为agent节点，mater和agent。
先运行命令：

docker pull determinedai/determined-agent
pip install determined

在本地创建配置文件agent-config.yaml，写入mater节点determined服务的ip和port。

master_host: 192.168.0.12
master_port: 8080

然后启动服务

# 在子节点中运行
docker run --gpus all -v /var/run/docker.sock:/var/run/docker.sock -v "$PWD"/agent-config.yaml:/etc/determined/agent.yaml determinedai/determined-agent

docker镜像

determined使用docker运行任务，所用docker镜像中必须安装determined，否则任务会卡住。

可以用determined提供的镜像作为基础镜像。

https://hub.docker.com/r/determinedai/environments/tags?page=1&name=gpu

建议以determined或者pytorch的镜像作为基础镜像。

账户

账号为名字拼音，默认密码为空。
管理员用户名为admin，建议搭建好环境后，立刻修改其密码。
修改密码：

det user login  # 登录，后续命令将以此用户为默认用户

det -u {username} user change-password  # 修改密码

模板

提前构建好docker镜像

参考配置模板创建config文件：配置

name: test_pytorch_determined  # 实验名称
workspace: Test
project: init

resources:
  slots_per_trial: 1  # 显卡数量
entrypoint: python3 test.py  # 任务命令

# 挂载
bind_mounts:
  - host_path: /data/lambda
    container_path: /mnt/lambda


# Use the single-searcher to run just one instance of the training script
searcher:
   name: single
   # metric is required but it shouldn't hurt to ignore it at this point.
   metric: none
   # max_length is ignored if the training script ignores it.
   max_length: 1

max_restarts: 3 # 任务运行失败会重跑

environment:
  image: determinedai/environments:cuda-11.3-pytorch-1.12-tf-2.11-gpu-622d512  # 镜像
  environment_variables:  # container环境变量
  - USERNAME=lambda


cd {workspace}
det experiment create config.yaml ./  # 会上传当前目录到master节点

省事起见，也可以将个人home挂载，然后从container_path里的代码启动任务

任务管理

http://localhost:8080/

不足

1. 非determined任务无法监测，所以如果存在从命令行运行的训练任务，还是会发生资源抢占的现象。需要大家都迁移到determined平台运行GPU任务才能发挥最大作用。

2. 权限管理可能不够完善。

参考

https://docs.determined.ai/latest/index.html#