关于Spark 集群中调度GPU的一些实验

关于Spark 集群中调度GPU的一些实验

自己毕设做了一些Spark 调用GPU 相关的实验，自己也在网上找到了一些资料，也写下来分享一些自己的做法。

目前Spark(2.3) 还不支持直接调用GPU , 需要自己通过JNI的方式实现调用GPU来做一些加速计算。通常是自己定义好接口，在用NVCC生成动态链接库，然后在Spark中调用。

自己做的一些尝试

1.通过Docker 做到 GPU 容器化，虚拟化。若GPU支持MPS，建议开启MPS。 一个容器成为一个Spark计算节点。

2.为了更好的扩展和调度，采用上面的镜像。在K8S中建立Spark集群，可以通过副本集快速扩容。

3.可以预估单个计算任务，需要的资源，合理的指定每个GPU node 部署的 单个SparkGPU容器的数量。若需要更细粒度的管理每个容器分配的GPU资源，可以查看阿里云开源的一个K8S插件，支持MB级别的分配（https://github.com/nvidia/k8s-device-plugin）

4.总结起来就是，我做的是把每张不同的GPU卡，通过Docker虚拟化做到细粒度的量化，因为每张卡的计算能力不同，这样可以通过K8S，快速给不同的节点部署不同个数的容器实例，在容器实例中启动Spark，再对saprk层面做公平的计算分配。