ROCm容器健康检查：自定义探针与自动恢复配置

ROCm容器健康检查：自定义探针与自动恢复配置

【免费下载链接】ROCm AMD ROCm™ Software - GitHub Home 项目地址: https://gitcode.com/GitHub_Trending/ro/ROCm

你还在为ROCm容器意外宕机导致AI训练中断而烦恼吗？本文将带你实现GPU容器的7×24小时无人值守运行，通过3个实用步骤配置自定义健康探针与自动恢复策略，让你的AMD GPU资源始终保持最佳状态。读完本文你将掌握：ROCm容器专属健康检查方案、3种自定义探针配置方法、Docker/K8s自动恢复策略，以及LLM训练场景的实战案例。

为什么ROCm容器需要专属健康检查

传统容器健康检查主要关注CPU和内存状态，而ROCm容器运行AI训练等GPU密集型任务时，需要同时监控GPU硬件状态、驱动健康度和计算进程。例如当GPU温度超过阈值或显存泄漏时，传统探针可能无法检测，导致任务失败。

ROCm工具套件提供了丰富的硬件监控工具，其中rocm-smi可实时获取GPU核心温度、显存使用率、功耗等关键指标，是构建健康探针的核心组件。

3步配置自定义健康探针

1. 存活探针（Liveness Probe）：检测GPU硬件健康

存活探针用于判断容器是否"活着"，当探测失败时会触发容器重启。ROCm容器推荐使用rocm-smi检查GPU基础状态：

HEALTHCHECK --interval=30s --timeout=10s --start-period=60s --retries=3 \
  CMD rocm-smi --showhealth || exit 1

参数说明：

• --showhealth：检查GPU健康状态
• 间隔30秒检查一次，超时10秒，启动60秒后开始探测，连续3次失败则标记不健康

2. 就绪探针（Readiness Probe）：验证计算服务可用性

就绪探针确认容器是否可以接收请求，对于AI训练容器，可检查训练进程日志或特定端口：

# Kubernetes就绪探针配置示例
readinessProbe:
  exec:
    command: ["grep", "Training started", "/var/log/training.log"]
  initialDelaySeconds: 120
  periodSeconds: 20

3. 自定义业务探针：监控训练任务进度

结合ROCm性能分析工具，可创建业务级探针监控训练进度：

#!/bin/bash
# 检查最后5分钟内是否有loss更新
if tail -n 100 /var/log/training.log | grep -A 5 "loss=" | grep -q "loss=[0-9.]*$"; then
  exit 0
else
  exit 1
fi

自动恢复策略：从故障中无缝恢复

Docker环境自动重启

配置Docker重启策略，实现容器故障自动恢复：

docker run -d --restart=on-failure:3 \
  --name rocm-training \
  rocm/pytorch:latest \
  python train.py

--restart=on-failure:3表示当容器以非0状态退出时最多重启3次

Kubernetes环境自愈配置

在K8s部署中结合探针与重启策略：

apiVersion: apps/v1
kind: Deployment
spec:
  replicas: 1
  template:
    spec:
      containers:
      - name: rocm-container
        image: rocm/tensorflow:latest
        livenessProbe:
          exec:
            command: ["rocm-smi", "--showhealth"]
          initialDelaySeconds: 60
          periodSeconds: 30
        readinessProbe:
          exec:
            command: ["curl", "-f", "http://localhost:8080/ready"]
          periodSeconds: 10
        restartPolicy: Always

实战案例：LLM训练容器的健康守护

以VLLM部署为例，完整健康检查配置包括：

1. 硬件层：rocm-smi --showtemp --showmem监控温度和显存
2. 系统层：检查vllm进程是否存在
3. 应用层：验证推理API响应时间

必备监控工具与资源

• rocm-smi工具文档：完整监控指标说明
• ROCm性能分析工具：深入诊断性能问题
• 系统调试指南：解决常见部署故障
• GPU架构参考：理解硬件监控指标含义

通过以上配置，你的ROCm容器将具备完善的健康检测与自动恢复能力，显著提升AI训练任务的稳定性。收藏本文，下次部署ROCm容器时直接套用这些最佳实践！关注我们获取更多ROCm优化技巧。

【免费下载链接】ROCm AMD ROCm™ Software - GitHub Home 项目地址: https://gitcode.com/GitHub_Trending/ro/ROCm