本文介绍如何通过编辑Spark集群的环境变量文件spark-env.sh来配置关键参数，包括设置Master节点IP、分配Worker节点的CPU核心数量、内存大小及实例数等。
一、在终端程序输入命令：
sudo gedit /usr/local/spark/conf/spark-env.sh（用gedit打开spark-env.sh的文件）
打开后找到：
export SPARK_MASTER_IP=master（设置master的IP或者服务器名称）
export SPARK_WORKER_CORES=1（设置每个Worker使用的CPU核心）
export SPARK_WORKER_MEMORY=800m（设置每个Worker的使用内存）
export SPARK_WORKER_INSTANCES=2（设置每个Worker实例，如果Host也就是主机的内存不足，就设置为1）
扫一扫
1780
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
