16、CT扫描去噪与超参数调优：机器学习自动化探索

CT扫描去噪与超参数调优：机器学习自动化探索

CT扫描去噪管道

在构建CT扫描去噪管道时，我们首先要为Spark作业创建一个清单。这个清单会详细指定使用的镜像、挂载存储桶所需的密钥，以及其他大量信息。之后，结合之前步骤中的容器和定义好的清单，创建一个管道，其输出将是一张去除了不同程度噪声的DICOM图像切片的PNG图片。

Spark操作清单

由于Spark在处理ReadWriteOnce（RWO）PVCs时存在问题，它会从GCS读取和写入文件。因此，我们需要从GCS下载输出，然后再上传。如果Kubernetes使用的是Apache Spark操作符，且无法请求ReadWriteMany（例如在GCP上的情况），那么就需要使用其他存储来存放待分解的原始矩阵。

到目前为止，我们的大多数容器都使用了ContainerOp。但由于Spark作业可能由多个容器组成，这里我们使用更通用的ResourceOp。定义ResourceOp能让我们拥有更多的控制权，但代价是失去了美观的Python API。定义ResourceOp时，必须先定义一个清单，示例如下：

container_manifest = {
    "apiVersion": "sparkoperator.k8s.io/v1beta2",
    "kind": "SparkApplication",
    "metadata": {
        "name": "spark-app", 
        "namespace": "kubeflow"
    },
    "spec": {
        "type