PySpark（Spark3.0）

最新推荐文章于 2025-04-25 10:23:32 发布

小宇0926

最新推荐文章于 2025-04-25 10:23:32 发布

阅读量4.9k

点赞数 4

分类专栏： Python 文章标签： python spark

本文链接：https://blog.youkuaiyun.com/qq_40856560/article/details/116027896

版权

本文详细介绍了如何在Centos7环境下配置PySpark3.0，包括安装Python3、配置环境变量，并通过PySparkShell运行WordCount示例。此外，还讲述了在Pycharm中创建PySpark项目并解决运行时遇到的问题，如环境变量配置和HDFS权限设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

PySpark简单来说就是Spark提供的Python编程API，包括交互式的PySpark shell和非交互式的Python程序。

其中值得注意的是Python的版本必须是3.6+，以下是Spark官网的说明
在这里插入图片描述

前提

Spark3.0的集群已经搭建完毕，本文使用的是Standalone模式的集群

Hadoop3.2分布式集群搭建完毕

yum install -y python3

PS：集群中的所有节点都要安装

# 验证
python3 -V

在这里插入图片描述

PySparkShell的启动需要配置SPARK_HOME和PYSPARK_PYTHON这两个环境变量，如果不配置就会使用系统自带的Python2.7.5，由于Python2和Python3的语法是不兼容的，这样就会出现问题，导致PySPark无法使用。

vi /etc/profile
export SPARK_HOME=/opt/spark-3.0.2
export PATH=$PATH:$SPARK_HOME/bin
export PYSPARK_PYTHON=python3
# 刷新环境变量
source /etc/profile

在这里插入图片描述
注意:根据自己时间的路径配置

# 启动Spark
/opt/spark-3.0.2/sbin/start-all.sh
# 在Spark的bin目录中有pySpark的脚本 直接全路径执行
/opt/spark-3.0.2/bin/pyspark
# 使用如下命令退出PySpark Shell
exit()

在这里插入图片描述

如果Python的版本不是3.6+ 那就需要检查环境变量配置是否正确以及环境变量是否生效
使用source /etc/profile 使环境变量的配置生效
注意:这样启动只是一个Local模式的PySpark Shell