GoogleCloudDataproc 初始化操作常见问题解决方案-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_01181/article/details/143737585

GoogleCloudDataproc 初始化操作常见问题解决方案

initialization-actions Run in all nodes of your cluster before the cluster starts - lets you customize your cluster 项目地址: https://gitcode.com/gh_mirrors/in/initialization-actions

项目基础介绍

GoogleCloudDataproc 初始化操作项目是一个开源项目，旨在帮助用户在创建 Google Cloud Dataproc 集群时，通过执行自定义的初始化脚本来配置集群环境。这些初始化脚本可以在集群的所有节点上运行，以便在集群启动之前安装必要的依赖项或进行其他自定义配置。

该项目主要使用 Bash 脚本语言编写，但也可能包含其他编程语言的脚本，如 Python、Java 等，具体取决于每个初始化脚本的需求。

新手使用注意事项及解决方案

1. 初始化脚本存储位置问题

问题描述：新手用户可能会困惑于如何正确地将初始化脚本存储在 Google Cloud Storage (GCS) 中，并确保在创建集群时能够正确引用这些脚本。

解决方案：

创建 GCS 存储桶：首先，确保你有一个 Google Cloud Storage 存储桶。如果没有，可以使用以下命令创建：
```
gsutil mb gs://<YOUR_BUCKET_NAME>
```
上传初始化脚本：将你的初始化脚本上传到该存储桶中。例如：
```
gsutil cp your-script.sh gs://<YOUR_BUCKET_NAME>/
```
在创建集群时引用脚本：在创建 Dataproc 集群时，使用 --initialization-actions 参数指定脚本的 GCS 路径。例如：
```
gcloud dataproc clusters create <CLUSTER_NAME> \
    --initialization-actions gs://<YOUR_BUCKET_NAME>/your-script.sh
```

2. 初始化脚本执行权限问题

问题描述：有时，初始化脚本可能因为权限问题而无法执行，导致集群创建失败。

解决方案：

检查脚本权限：确保你的初始化脚本具有可执行权限。可以使用以下命令检查和设置权限：
```
chmod +x your-script.sh
```
确保 GCS 权限：确保你的 Google Cloud 服务账号有权限访问和执行存储在 GCS 中的脚本。可以通过 IAM 角色设置来确保权限。
调试脚本：如果脚本仍然无法执行，可以在脚本中添加日志输出，以便在集群创建过程中查看详细的错误信息。例如：
```
#!/bin/bash
echo "Starting initialization script..."
# 你的脚本内容
echo "Initialization script completed."
```

3. 初始化脚本超时问题

问题描述：初始化脚本可能因为执行时间过长而导致超时，从而影响集群的创建。

解决方案：

设置超时时间：在创建集群时，使用 --initialization-action-timeout 参数设置一个合理的超时时间。例如：

gcloud dataproc clusters create <CLUSTER_NAME> \
    --initialization-actions gs://<YOUR_BUCKET_NAME>/your-script.sh \
    --initialization-action-timeout 10m