【训练推理提效小技巧】｜从漫长等待到极速秒杀：如何在K8S中实现高效模型训练及推理?

兄弟们！Deepseek已经火爆天，大家都满怀热情地投入大模型训练或推理的大队伍中，都很积极上进呐

但是！

大家投身于这一伟岸技术浪潮时，在大模型训练或部署任务中，经常遇到这样的恼人情境：

正在进行的 AI 模型训练或推理任务，由于数据集庞大，模型复杂，计算量巨大。导致任务进行时：

1.GPU 资源的分配往往不够灵活，任务跑起来极其慢，常常导致等待时间过长。

2.算力紧张 GPU 资源有限，资源紧张得像一张拉紧的弓，最终，这会导致要么模型效果不佳，要么直接使训练或推理任务失败。

烦恼，每一次训练或推理都需要等待几个小时，甚至更久。

只能焦虑地刷新着服务器的状态，内心着急的默念：“真烦！能不能更快？可不可以灵敏点？”

那么，到底有没有更灵活方式，让算力不再是瓶颈？

今天，我们就以上困扰大家的场景，来支个

小妙招：

通过在 Kubernetes 集群中灵活调度DataCanvas的 GPU 资源，结合 SSH 连接K8S中的自定义 Pod，实现对弹性容器集群的高效管理，让算力使用更灵活，模型训练更高效。

本次小妙招使用的是DataCanvas的算力+弹性容器集群技术。

经实验验证，下文方法可提升训练和推理效率约35%效率，轻松解决 AI 模型训练中的算力瓶颈，还支持根据实际需求弹性扩容算力，简直太实用了！。

通过这个小妙招，你可以获得以下显著优势：

1.弹性调度资源：根据项目的实际需求，随时增加或减少算力，这样一来，既能避免资源闲置浪费，又能防止资源不足影响任务进度，让每一份算力都能得到充分利用。

2.高效连接 Pod：借助 ProxyCommand 配置，无需繁琐的操作，就能快速灵活的通过 SSH 连接到 Kubernetes 中的 Pod，这种便捷的链接方式，为后续的操作提供了极大的便利，大大提高了工作效率。

3.安全与隔离：无需暴露 Pod 的 SSH 服务端口，利用 Kubernetes 内部的安全网络连接，就能实现安全通信。这一特征有效保障了数据和服务的安全性，让你在使用过程中无需担忧数据泄露等安全问题。

这种弹性算力的管理方式的好处可不止这些，它不仅能显著提升训练效率，让你告别漫长的等待时间，还能通过合理的资源分配，确保你的 AI 项目在预算内高效完成，真正做到省时、省力、省钱。而且在DataCanvas官网活动期间，还能免费使用算力，大家可以尽情体验高效算力带来的便利。

接下来，给大家详细介绍一下文中涉及的技术名词及其含义，帮助大家更好的理解整个技术方案：

●（K8S）：是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。它可以将多个容器组织成逻辑单元，方便管理和调度，确保应用在不同环境中稳定运行，在本文中用于管理 AI 训练所需的计算资源，实现弹性算力调度。

● Pod：Kubernetes 中的最小部署和管理单元，一个 Pod 可以包含一个或多个紧密相关的容器。这些容器共享网络、存储等资源，在本文中作为运行 AI 训练任务的载体，通过自定义 Pod 来满足不同的训练需求。

● openssh-server：是 OpenSSH 套件中的服务器组件，用于提供安全的远程登录和文件传输服务。在本文中，安装在 Pod 内，使本地能够通过 SSH 协议连接到 Pod 进行操作。

● netcat：是一个功能强大的网络工具，用于在网络中进行数据传输和端口扫描等操作。在本文中，配合openssh-server，通过ProxyCommand利用kubectl exec在 Kubernetes 集群中执行nc localhost %p，实现将 SSH 流量通过 Pod 的内网转发。

● sshd：是openssh-server的守护进程，负责监听 SSH 连接请求，验证用户身份，并为用户提供远程访问服务。在本文中，需要在 Pod 中开启sshd服务，才能接受 SSH 连接。

● kubectl：是 Kubernetes 的命令行工具，用于与 Kubernetes 集群进行交互，执行诸如部署应用、管理资源、查看集群状态等操作。在本文中，通过kubectl命令实现与 Pod 的连接和操作，如

kubectl --kubeconfig-/etc/kubeconfig exec -i container-584dff7f6d-vqxft -n develop -- nc localhost %p

这条命令就是利用kubectl在指定的 Pod 中执行netcat命令。

● kubeconfig：是 Kubernetes 的配置文件，包含了访问 Kubernetes 集群所需的信息，如集群地址、认证信息等。本地通过读取kubeconfig文件来连接和操作指定的 Kubernetes 集群。

● ProxyCommand：是 SSH 配置中的一个指令，用于指定一个外部程序来处理 SSH 连接。在本文中，通过在本地 SSH 配置中使用ProxyCommand，配合kubectl命令，实现通过 Kubernetes 集群内的代理连接到 Pod，而无需直接暴露 Pod 的端口，提高了安全性和便捷性。

● Dockerfile：是一个文本文件，包含了一系列用于构建 Docker 镜像的指令。通过编写Dockerfile，可以自动化地创建包含特定软件和配置的 Docker 镜像。在本文中，提供了一个包含 SSH 配置的Dockerfile示例，用于创建支持 SSH 连接的自定义 Pod 镜像。

【具体操作步骤】

1.前提条件准备：这是开启弹性算力的关键步骤。

● pod 安装 openssh-server, netcat
● pod 开启 sshd 服务
● pod 拥有允许 ssh 登录的用户
● 本地安装 kubectl 命令
● 本地拥有 kubeconfig 配置文件

2.利用 ProxyCommand 实现 SSH 连接

通过在本地配置 SSH，我们能够使用 ProxyCommand 命令通过 kubectl 来连接到 Pod。这种方式让你无需直接暴露 Pod 的端口，而是通过 Kubernetes 集群内的代理来建立连接，从而实现更高效、更安全的远程操作。

以下是你需要在本地 SSH 配置中的内容：

Host ssh-dev
    HostName localhost
    Port 22 
    User root
    StrictHostKeyChecking no
    UserKnownHostsFile /dev/null
    # /etc/kubeconfig  更改成对应的kubeconfig文件地址
    # container-584dff7f6d-vqxft 更改成对应的 pod
    # develop 更改成对应的 namespace
    ProxyCommand kubectl --kubeconfig=/etc/kubeconfig exec -i container-584dff7f6d-vqxft -n develop -- nc localhost %p

SSH 连接展示

怎么理解这段配置呢？

● Host ssh-dev：定义一个 SSH 主机别名，方便你使用简单命令来进行 SSH 连接。
● HostName localhost 和 Port 22：指定连接的主机和端口，这里通过 localhost 转发到 Kubernetes 内部的 Pod。
● ProxyCommand：核心部分，利用 kubectl exec 在 Kubernetes 集群中执行 nc localhost %p，将 SSH 流量通过 Pod 的内网转发。

3.Dockerfile 示例：轻松创建支持 SSH 的自定义 Pod

如果你正在构建自定义 Pod 来进行 AI 模型训练，下面是一个包含 SSH 配置的 Dockerfile 示例，可以快速搭建环境

FROM ubuntu:22.04

# 安装必要的包
RUN apt-get update && apt-get install -y \
    openssh-server \
    netcat \
    && apt-get clean

# 创建 SSH 运行目录
RUN mkdir /var/run/sshd

# 设置 root 用户密码
RUN echo 'root:root' | chpasswd

# 允许 root 用户通过 SSH 登录
RUN sed -i 's/^#PermitRootLogin prohibit-password/PermitRootLogin yes/' /etc/ssh/sshd_config

# 允许密码认证
RUN sed -i 's/^#PasswordAuthentication yes/PasswordAuthentication yes/' /etc/ssh/sshd_config

# 关闭 PAM 认证以避免 SSH 登录问题
RUN sed -i 's@session    required     pam_loginuid.so@session    optional     pam_loginuid.so@g' /etc/pam.d/sshd

# 暴露 SSH 端口
EXPOSE 22

# 启动 SSH 服务
CMD ["/usr/sbin/sshd", "-D"]

这个 Dockerfile 做了什么？

● 它在 Ubuntu 镜像中安装了 openssh-server 和 netcat，并配置 SSH 服务（如使用其它系统，你可以根据需求自定义）
● 设置了 root 用户密码，并允许 root 用户通过 SSH 登录。
● 配置了 SSH 服务的必要选项，确保可以通过密码认证进行登录。

以上小妙招，我愿称之为：释放算力的无限潜力！你值得拥有

通过上面Kubernetes 和 SSH 的强大组合，利用 ProxyCommand + kubectl，你可以轻松连接并管理你的自定义 Pod，从而高效调度弹性算力。无论是 AI 模型训练、推理，还是其他高性能计算任务，用这种灵活、高效的算力管理方式都能为你带来巨大的优势。

【AI训练加速利器 | 免费算力限时领】

还在为AI项目训练周期长而焦虑？九章云极DataCanvas弹性GPU资源服务现已开放体验通道，助您解锁澎湃算力，实现训练效率跃升！

立即访问https://www.alayanew.com/backend/register

完成注册，即可享受：

✅ 按需调配的弹性GPU资源池

✅ 智能优化的分布式训练架构

✅ 开箱即用的开发环境配置

【限时福利】即日起至2025.3.31，新用户注册即送25度免费算力体验包！即刻注册，开启您的智算之旅！