PySpark（Spark3.0）

最新推荐文章于 2025-09-29 10:25:02 发布
原创 最新推荐文章于 2025-09-29 10:25:02 发布 · 5k 阅读 · 29 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #spark

本文详细介绍了如何在Centos7环境下配置PySpark3.0，包括安装Python3、配置环境变量，并通过PySparkShell运行WordCount示例。此外，还讲述了在Pycharm中创建PySpark项目并解决运行时遇到的问题，如环境变量配置和HDFS权限设置。

PySpark（Spark3.0）

PySpark简单来说就是Spark提供的Python编程API，包括交互式的PySpark shell和非交互式的Python程序。

1.环境

  • Spark3.0
  • Hadooop3.2
  • Centos7
  • Python3.6.8
  • Pycharm
  • Windos10

其中值得注意的是Python的版本必须是3.6+，以下是Spark官网的说明
在这里插入图片描述

前提

​ Spark3.0的集群已经搭建完毕，本文使用的是Standalone模式的集群

​ Hadoop3.2分布式集群搭建完毕

2.PySpark shell

2.1安装python3

yum install -y python3

PS：集群中的所有节点都要安装

# 验证
python3 -V

在这里插入图片描述

2.1配置环境变量

PySparkShell的启动需要配置SPARK_HOME和PYSPARK_PYTHON这两个环境变量，如果不配置就会使用系统自带的Python2.7.5，由于Python2和Python3的语法是不兼容的，这样就会出现问题，导致PySPark无法使用。

vi /etc/profile
export SPARK_HOME=/opt/spark-3.0.2
export PATH=$PATH:$SPARK_HOME/bin
export PYSPARK_PYTHON=python3
# 刷新环境变量
source /etc/profile

在这里插入图片描述
注意:根据自己时间的路径配置

2.2使用PySpark Shell

# 启动Spark
/opt/spark-3.0.2/sbin/start-all.sh
# 在Spark的bin目录中有pySpark的脚本 直接全路径执行
/opt/spark-3.0.2/bin/pyspark
# 使用如下命令退出PySpark Shell
exit()

在这里插入图片描述

如果Python的版本不是3.6+ 那就需要检查环境变量配置是否正确以及环境变量是否生效
使用source /etc/profile 使环境变量的配置生效
注意:这样启动只是一个Local模式的PySpark Shell

2.3PySpark的WordCount

WordCount单词次数计算 是一个比较经典的分布式计算样例，相当于Hello World了

启动HDFS并将提前准备好单词文件上传到HDFS
单词数据如下

hello world
hello world
hello world
hello world
hello world
hello world
hello world
hello world
hello world
hello world
hello world
hello world
hello world
hello world
hello world
hello world
hello world
hello world
hello world
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
python java scala
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
spark flink mapreduce
hello world
hello world
hello world
hello world
hello world

# 使用vi创建一个文件并将单词数据复制到文件中
vi 1.txt
# 启动hdfs
start-dfs.sh
# 创建存放数据的文件
hdfs dfs -mkdir -p /wc/in
# 上传文件
hdfs dfs -put 1.txt /wc/in/1.txt
hdfs dfs -put 1.txt /wc/in/2.txt
hdfs dfs -put 1.txt /wc/in/3.txt
# 启动PySpark 指定Master 编写WordCount
/opt/spark-3.0.2/bin/pyspark --master spark://master:7077
# PySpark中提供了两个变量sc 和 spark
# 其中sc 是 SparkContext对象
# spark 是 SparkSession对象
# 读取hdfs中的文件生成RDD Python是弱类型的语言 变量的定义比较随意
lines = sc.textFile("hdfs://master:9000/wc/in")
# 将每一行单词使用split 切分 分隔符为" "并压平
# 这里会得到由一个个单独单词组成的RDD
words = lines.flatMap(lambda x: x.split(" "))
# 将单词和1组合在一起 (word,1)
wordAndOne = words.map(lambda x: (x,1))
# 对单词进行分组聚合
reduced = wordAndOne.reduceByKey(lambda x,y: x + y)
# 对聚合后的结果进行排序 默认为升序 False用于指定降序
res = reduced.sortBy(lambda x: x[1],False)
# 将结果收集到Drive 也就是shell
res.collect()
# 将结果保存到HDFS
# 注意这里指定的HDFS不能存在 程序会自动生成
res.saveAsTextFile("hdfs://master:9000/wc/res1")
# 退出PySpark Shell
quit()

2.4在HDFS中查看结果

hdfs dfs -cat /wc/res1/*
hdfs dfs -ls /wc/res1/

在这里插入图片描述

​ 结果分散在多个结果文件中，是全局有序的

3.Pycharm中编写PySpark程序

提前:Windows上安装好了Python3.6+

1.解压Spark

PySpark程序编写是在Windows10上的，首先将Spark3.0的安装包解压，解压到D:\app目录下，解压Spark安装包的原因是因为，安装包中提供了PySpark的依赖。
在这里插入图片描述

2.创建项目

在创建项目时指定Python解释器的版本
在这里插入图片描述
配置项目依赖

File --> Settings --> Project Structure
在这里插入图片描述
选择Add Content Root，在弹出的文件选择框中，选择Spark安装目录中的python文件夹下的lib目录中的py4j和pyspark的依赖文件，点击OK，将这两个依赖加入到当前项目的依赖库中。

py4j 将Python代码转换为Java代码的库

pyspark Python的Spark编程依赖库
在这里插入图片描述

3.编写WordCount程序

新建一个demo文件夹，然后新建一个WordCount.py文件

from pyspark import SparkConf, SparkContext

if __name__ == '__main__':
    # 创建SparkConf对象 配置程序名为 WordCount 运行模式为local[*]
    # * 代表当前机器有几个逻辑核就启动几个线程
    conf = SparkConf().setMaster("wordCount").setMaster("local[*]")
    sc = SparkContext(conf=conf)
    # 读取hdfs中的文件生成RDD Python是弱类型的语言 变量的定义比较随意
    lines = sc.textFile("hdfs://master:9000/wc/in")
    # 将每一行单词使用split 切分 分隔符为" "并压平
    # 这里会得到由一个个单独单词组成的RDD
    words = lines.flatMap(lambda x: x.split(" "))
    # 将单词和1组合在一起 (word,1)
    wordAndOne = words.map(lambda x: (x, 1))
    # 对单词进行分组聚合
    reduced = wordAndOne.reduceByKey(lambda x, y: x + y)
    # 对聚合后的结果进行排序 默认为升序 False用于指定降序
    res = reduced.sortBy(lambda x: x[1], False)
    # 将结果收集到Drive 也就是本地
    print(res.collect())
    # 将结果保存到HDFS
    res.saveAsTextFile("hdfs://master:9000/wc/res3")
    # 关闭SparkContext
    sc.stop()

程序报错，Could not find valid SPARK_HOME while searching…,主要是因为没有配置SPARK_HOME以及PYSPARK_PYTHON这两环境变量
在这里插入图片描述
点击右上角的程序配置，配置环境变量，添加SPARK_HOME值为SPARK安装包的解压路径，PYSAPRK_PYTHON指定PySpark的Python命令，注意python版本为3.6+。
在这里插入图片描述
继续运行程序，报错:Permission denied: user=killer
在这里插入图片描述
这里主要是由于HDFS的权限问题，需要将当前程序伪装成ROOT用户，按照上面的方法配置环境变量HADOOP_USER_NAME为root
在这里插入图片描述
然后运行成功
在这里插入图片描述
可以看到打印的单词出现次数，然后在HDFS中查看结果
在这里插入图片描述

Spark笔记（pyspark）
算法工程师
02-01 2778
Spark笔记1、基本概念2、架构设计3、Spark运行流程4、弹性分布数据集(RDD)1.groupByKey和reduceByKey的区别2. 哪两个Action算子的结果不经过Driver, 直接输出?3. mapPartitions 和 foreachPartition 的区别?5、Shuffle与依赖6、持久化1. Cache和Checkpoint区别2. Cache 和 CheckPoint的性能对比?7、Spark On Yarn两种模式总结8、Spark内核调度............
Apache Spark 3.0 预览版正式发布，多项重大功能发布
过往记忆大数据
11-08 5463
今天早上 06:53（2019年11月08日 06:53) 数砖的 Xingbo Jiang 大佬给社区发了一封邮件，宣布 Apache Spark 3.0预览版正式发布，这个版本主要是为了对即将发布的 ApacheSpark 3.0版本进行大规模社区测试。无论是从 API 还是从功能上来说，这个预览版都不是一个稳定的版本，它的主要目的是为了让社区提前尝试 Apache Spark 3.0...
PySpark教程详解：从环境搭建到高级应用实战
weixin_28746213的博客
09-19 743
开发与生产环境在资源规模、容错要求和监控粒度上有显著区别。
PySpark
rainyrainbow的博客
11-30 496
PySpark 是 Spark 为 Python 开发者提供的 API ，位于 $SPARK_HOME/bin 目录，其依赖于 Py4J。 系统环境 Linux Ubuntu 14.04 jdk-7u75-linux-x64 hadoop-2.6.0-cdh5.4.5 scala-2.10.4 spark-1.6.0-bin-hadoop2.6 python3.4 PyCharm 1.在Pycha...
Spark3.4版本启动pyspark报错SyntaxError: invalid syntax
Karse_的博客
06-05 922
进入/usr/bin”目录下，输入”ls -l | grep python”显示所有名字中包含python的文件。没更改默认版本之前，python指向的是python2，而Python2指向的是Python2.7。2、更换系统默认python版本为3.6【不知道这步是否可忽略，但3.6版本当默认也没什么问题】现在这个截图是我已经更改后的，python指向的是我下载的python3.6。接着再输入python --version确认已经变为3.6。首先查看系统python版本，终端输入python。
pyspark
热门推荐
咖啡男孩之SRE之路
03-13 1万+
本文主要介绍python如何通过pyspark的API操作spark
Spark 3.0核心新特性解析与行业应用展望
Aaron_PHPer的博客
03-09 941
作为Spark 3.0最具突破性的优化，AQE通过，解决了传统静态优化的局限性。
大数据技术Spark3.0详解
悦分享
10-04 2352
Spark3.0版本包含了3400多个补丁程序，是开源社区做出巨大贡献的最高峰，带来了Python和SQL功能的重大进步，并着眼于探索和生产的易用性。
尚硅谷最新Spark3.0调优笔记
wqy19941008的博客
11-26 1249
尚硅谷Spark 调优 1. 查看Spark 执行计划 2. 资源调优 3. Spark SQL 语法优化 4. 数据倾斜 5. Job 优化 6. Spark AQE 7. Spark 3.0 DPP 8. Spark 3.0 Hint增强 9. 故障排除 1. Explain 查看执行计划 *** 分析–逻辑计划优化–物理计划–评估模型分析—代码生成 基于代价的优化CBO sql.explain("") 空/simple/extended /codegen 显示可执行java 代码 /
Spark 3.0 - 1.Spark 新特性简介与 WordCount Demo 实践
BITDDD小栈
11-15 1029
Spark 3.0 新特性介绍与快速搭建 Spark 3.0 项目指南。
28、Spark 3.0 新特性深度解析
最新发布
nut55的博客
09-29 36
本文深入解析了 Apache Spark 3.0 的多项新特性与改进，涵盖语言支持升级、DataFrame 和 Dataset API 的关键变化、查询计划可读性增强（如 explain 多模式输出）、高级优化技术（如 AQE 和 DPP）、结构化流处理增强、Pandas UDF 改进、湖仓一体架构支持（通过 Delta Lake）、机器学习分布式调优与模型管理，以及性能调优建议。文章还提供了代码示例、流程图和参数表格，帮助开发者全面了解 Spark 3.0 的新功能并顺利迁移应用。
Learning PySpark
03-04
About This Book, Learn why and how you can efficiently use Python to process data and build machine learning models in Apache Spark 2.0Develop and deploy efficient, scalable real-time Spark solutionsTake your understanding of using Spark with Python to the next level with this jump start guide, Who This Book Is For, If you are a Python developer who wants to learn about the Apache Spark 2.0 ecosystem, this book is for you. A firm understanding of Python is expected to get the best out of the book. Familiarity with Spark would be useful, but is not mandatory., What You Will Learn, Learn about Apache Spark and the Spark 2.0 architectureBuild and interact with Spark DataFrames using Spark SQLLearn how to solve graph and deep learning problems using GraphFrames and TensorFrames respectivelyRead, transform, and understand data and use it to train machine learning modelsBuild machine learning models with MLlib and MLLearn how to submit your applications programmatically using spark-submitDeploy locally built applications to a cluster, In Detail, Apache Spark is an open source framework for efficient cluster computing with a strong interface for data parallelism and fault tolerance. This book will show you how to leverage the power of Python and put it to use in the Spark ecosystem. You will start by getting a firm understanding of the Spark 2.0 architecture and how to set up a Python environment for Spark., You will get familiar with the modules available in PySpark. You will learn how to abstract data with RDDs and DataFrames and understand the streaming capabilities of PySpark. Also, you will get a thorough overview of machine learning capabilities of PySpark using ML and MLlib, graph processing using GraphFrames, and polyglot persistence using Blaze. Finally, you will learn how to deploy your applications to the cloud using the spark-submit command., By the end of this book, you will have established a firm understanding of the Spark Python API and how it can be used t
PySpark（一）
u014033218的专栏
01-20 1050
PySpark（一） 其中Spark主要是由Scala语言开发，为了方便和其他系统集成而不引入scala相关依赖，部分实现使用Java语言开发，例如External Shuffle Service等。总体来说，Spark是由JVM语言实现，会运行在JVM中。然而，Spark除了提供Scala/Java开发接口外，还提供了Python、R等语言的开发接口，为了保证Spark核心实现的独立性，Spar...
spark3.0版本--SparkSQL
dxy
02-27 1802
spark3.0版本--SparkSQL第1章 Spark SQL概述1.1 什么是Spark SQL1.2 为什么要有Spark SQL1.3 Spark SQL原理1.3.1 什么是DataFrame1.3.2 什么是DataSet1.3.3 RDD、DataFrame和DataSet之间关系1.4 Spark SQL的特点第2章 Spark SQL编程2.1 SparkSession新的起始点2.2 DataFrame2.2.1 创建DataFrame2.2.3 DSL风格语法2.3 DataSet2
【Python】PySpark
qq_45917176的博客
08-27 2206
PySpark
【PySpark】＜Big Data＞Spark概述
范同学的学习历程
02-04 1558
一、Spark概述： Apache Spark™ - Unified Engine for large-scale data analyticshttps://spark.apache.org/ Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。 简而言之，Spark 借鉴了 MapReduce 思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提高了运行...
Spark之PySpark
youziguo的专栏
02-19 1392
PySpark 是 Apache Spark 的 Python API，它允许开发者使用 Python 编程语言进行大规模数据处理和分析。Apache Spark 是一个快速、通用、可扩展的大数据处理引擎，支持批处理、流处理、机器学习、图计算等多种数据处理模式。PySpark 使得 Python 开发者能够利用 Spark 强大的分布式计算能力，处理大数据集，并执行高效的并行计算。
pyspark 连接pysaprk
11-27
Pyspark 是 Apache Spark 的 Python 版本，它是一个基于 Scala 实现的大数据处理库，提供了一种交互式的数据分析环境。如果你想在 Pyspark 中连接另一个服务，比如 PySpark SQL 用于连接 SQL 数据源，或者与其他 PySpark DataFrame 之间进行操作，你可以考虑以下几种常见的连接： 1. **PySpark SQL 连接**：如果你想要连接外部数据库（如 MySQL、PostgreSQL 或者 Hive），可以使用 `spark.read.format()` 和 `.options()` 方法指定数据源，然后加载数据到 DataFrame。例如： ```python from pyspark.sql import SparkSession spark = SparkSession.builder.getOrCreate() df = spark.read.format("jdbc").option("url", "jdbc:mysql://localhost/mydatabase").load() ``` 2. **DataFrame 与 DataFrame 操作**：如果你需要将两个 DataFrame 进行关联或合并，可以使用 `left_join()`, `right_join()`, `full_join()`, 等函数，或者 `withColumnRenamed()` 改变列名以便于匹配。 3. **利用 UDF (User Defined Functions)**：如果你有一个自定义的 Python 函数，可以将其转换为 UDF 并应用到 DataFrame 上，实现更复杂的连接逻辑。 请注意，连接通常涉及到配置连接参数、数据映射以及数据类型适配等问题。在实际操作前，请确保你已经了解目标数据源的 API，并调整好相应的连接选项。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小宇0926

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值