pycharm利用pyspark远程连接spark集群

最新推荐文章于 2025-05-06 15:04:12 发布

阅读量9.1k

点赞数 2

分类专栏：大数据文章标签： pyspark spark集群 pycharm

本文链接：https://blog.youkuaiyun.com/weixin_41512727/article/details/100131995

版权

本文档记录了如何使用PyCharm和pyspark远程连接到Spark集群的过程，包括软件配置、Spark集群和本地环境的设置，以及解决遇到的Java gateway process错误。关键步骤包括在spark-env.sh中配置Python路径，确保所有节点Python版本一致，正确配置本地hosts文件以映射Master节点IP，以及在PyCharm中设置SPARK_HOME环境变量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

0 背景

由于工作需要，利用spark完成机器学习。因此需要对spark集群进行操作。所以利用pycharm和pyspark远程连接spark集群。这里记录下遇到的问题及方法。
主要是参照下面的文献完成相应的内容，但是具体问题要具体分析。

1 方法

1.1 软件配置
spark2.3.3, hadoop2.6, python3
1.2 spark配置
Spark集群的每个节点的Python版本必须保持一致。在每个节点的$SPARK_HOME/conf/spark-env.sh中添加一行：具体看你的安装目录。

export PYSPARK_PYTHON=/home/hadoop/anaconda2/bin/python3

此步骤就是将python添加到spark的配置中。
此时，在服务器命令行输入pyspark时，可以正常进入spark。
1.3本地配置
1.3.1 首先将spark2.3.3从服务器拷贝到本地。
注意： 由于我集群安装的是spark-2.3.3-bin-without-hadoop。但是拷贝到本地后，总是报错Java gateway process… 。同时我将hadoop2.6,的包也从服务器拷贝到本地加载到程序中，同样报错。
最后，直接从spark的官网中，下载了spark-2.3.3-bin-hadoop2.6，这回就可以了。
pyspark的版本与spark的版本最好对应。比如pyspark2.3.3&

最低0.47元/天解锁文章