spark-3.1.3-bin-without-hadoop 配置的关键步骤（有步骤省率）

最新推荐文章于 2023-10-25 12:56:00 发布

x_hxiao

最新推荐文章于 2023-10-25 12:56:00 发布

阅读量506

点赞数

文章标签： spark 大数据 scala

本文链接：https://blog.youkuaiyun.com/x_hxiao/article/details/129812908

版权

该文详细介绍了如何配置Spark环境，包括在.bashrc中设置SPARK_HOME和PATH，编辑spark-env.sh文件设定JAVA_HOME,SCALA_HOME等参数，以及配置workers文件。接着，文章提到了使用start-master.sh和start-slaves.sh脚本启动Spark集群，并提供了检查8080端口是否开放的命令。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 环境变量配置（.bashrc(普通用户模式)）

#SPARK
export SPARK_HOME=/home/CWH/Spark/spark-3.1.3-bin-without-hadoop
export PATH=${SPARK_HOME}/bin:$PATH

2相关文件配置

----spark-env.sh 文件
export JAVA_HOME=/home/CWH/jdk1.8.0_271
export SCALA_HOME=/home/CWH/Spark/scala-2.12.10
export SPARK_WORKER_MEMORY=30G
export SPARK_WORKER_CORES=16
export SPARK_WORKER_INSTANCES=1
export SPARK_MASTER_IP=10.103.105.76
export SPARK_DIST_CLASSPATH=$(/home/CWH/hadoop-3.1.3/bin/hadoop classpath)
export HADOOP_CONF_DIR=/home/CWH/hadoop-3.1.3/etc/hadoop
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 "

---- workers 文件配置

westgisB077
westgisB078
westgisB079
westgisB080

3 启动命令

$SPARK_HOME/sbin/start-master.sh

$SPARK_HOME/sbin/start-slaves.sh

4 查看端口开启命令

netstat-tunlpgrep 8080

查看占用端口的进程

lsof-i:8080