Spark 2.4.0 standalone 模式安装

Spark 2.4.0 standalone 模式安装

更多资源

• github: https://github.com/opensourceteams/spark-scala-maven-2.4.0

官网文档

• https://spark.apache.org/docs/2.4.0/spark-standalone.html

技能标签

• 学会安装Spark 2.4.0 standalone模式环境安装
• Spark 集群环境maste，worker,history server 启动停止命令
• Spark master,worker,history server 配置和管理界面查看
• Spark shell 终端执行交互式命令，Spark shell 作业监控
• WorldCount案例运行，界面查看
• Spark master,worker,history,executor 日志查看
• 官网: http://spark.apache.org/docs/latest/spark-standalone.html

前置条件

• 已安装好java(选用的是java 1.8.0_191)
• 已安装好scala(选用的是scala 2.11.121)
• 已安装好hadoop(选用的是Hadoop 3.1.1)

安装

• 下载安装包 : spark-2.4.0-bin-without-hadoop.tgz
• 安装包下载地址: https://archive.apache.org/dist/spark/spark-2.4.0/spark-2.4.0-bin-without-hadoop.tgz
• 将安装包上传到服务器上进行安装
• 解压压缩包

tar -zxvf spark-2.4.0-bin-without-hadoop.tgz -C /opt/module/bigdata/

• 配置环境变量(配的是~/.bashrc)

export JAVA_HOME=/opt/module/jdk/jdk1.8.0_191
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export SCALA_HOME=/opt/module/scala/scala-2.11.12
export HADOOP_HOME=/opt/module/bigdata/hadoop-3.1.1
export SPARK_HOME=/opt/module/bigdata/spark-2.4.0-bin-without-hadoop
export PATH=$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置

配置hadoop的classpath

• 下载不带hadoop依赖jar的spark版本
• 需要在spark配置中指定hadoop的classpath
• 配置文件spark-env.sh

### in conf/spark-env.sh ###

# If 'hadoop' binary is on your PATH
export SPARK_DIST_CLASSPATH=$(ha