Spark学习记录——环境配置

最新推荐文章于 2025-06-02 14:33:21 发布

盐水鱼

最新推荐文章于 2025-06-02 14:33:21 发布

阅读量264

点赞数 1

分类专栏： PySpark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/weixin_43867016/article/details/119458797

版权

PySpark 专栏收录该内容

3 篇文章

订阅专栏

这篇博客详细记录了配置Spark环境的过程，包括设置SPARK_HOME、JAVA_HOME、HADOOP_HOME等环境变量，以及调整SPARK_MASTER_IP、SPARK_MASTER_PORT等参数，确保Spark能与Hadoop协同工作。同时，解决了无法加载native-hadoop库的问题，为避免端口冲突，配置了SPARK_MASTER_WEBUI_PORT。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

配置SPARK的学习记录，若有错误，还请指正
spark-env.sh配置

export JAVA_HOME=.. # JDK安装目录
export SCALA_HOME=.. # SCALA安装目录
export HADOOP_HOME=.. #HADOOP安装目录
export SPARK_HOME=.. #SPARK安装目录

export SPARK_DIST_CLASSPATH=$(${HADOOP_HOME}/bin/hadoop classpath)
export HADOPP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export SPARK_LOCALIP=$(ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:")
export SPARK_MASTER_IP=.. # master节点的ip
export SPARK_MASTER_HOST=.. # master节点ip
export SPARK_MASTER_PORT=7077 # 
export SPARK_MASTER_WEBUI_PORT=8081 # 避免与hadoop的端口冲突

# 防止出现unable to load native-hadoop library for your platform
export JAVA_LIBRARY_PATH=${HADOOP_HOME}/lib/native
export LD_LIBRARY_PATH=${JAVA_LIBRARY_PATH}