集群搭建之Spark配置要点解析

最新推荐文章于 2024-12-20 16:01:15 发布

原创最新推荐文章于 2024-12-20 16:01:15 发布 · 215 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop #Spark #大数据 #集群

大数据专栏收录该内容

12 篇文章

订阅专栏

本文详细介绍如何在集群环境中配置和部署Apache Spark。主要内容包括配置Scala环境、设置环境变量、配置Spark参数以及分发Spark包到各个节点等关键步骤。

注意点：

安装Spark前先要配置好Scala运行环境。
Spark和Scala需要在各个机器上配置。

环境变量配置

在~/.bashrc中添加如下的配置信息。

#scala conf
export SCALA_HOME=/usr/local/src/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

#spark conf
export SPARK_HOME=/usr/local/src/spark
export PATH=$PATH:$SPARK_HOME/bin

source ~/.bashrc

./conf 目录下的文件配置

./conf下的文件示例.png

在spark-env.sh 中添加配置信息。

export JAVA_HOME=/usr/local/src/jdk1.8.0_151
export SCALA_HOME=/usr/local/src/scala-2.11.8
export HADOOP_HOME=/usr/local/src/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=yarn00
SPARK_LOCAL_DIRS=/usr/local/src/spark
SPARK_DRIVER_MEMORY=1G