1.1、Pyspark模块介绍.

最新推荐文章于 2025-06-09 20:51:05 发布
转载 最新推荐文章于 2025-06-09 20:51:05 发布 · 1.1k 阅读 · 2

本文深入解析PySpark的五大核心模块，包括基础的pyspark模块、支持SQL的pyspark.sql模块、处理流数据的pyspark.streaming模块、基于DataFrame的机器学习模块pyspark.ml及基于RDD的机器学习模块pyspark.mllib。每个模块的功能、关键组件及其实现的API被详细阐述，为读者提供了全面的PySpark使用指南。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

pyspark是Spark的python API，提供了使用python编写并提交大数据处理作业的接口。

在pyspark里大致分为5个主要的模块

1. pyspark模块，这个模块四最基础的模块，里面实现了最基础的编写Spark作业的API。这个模块里面有以下内容：

Sparkcontext:它是编写Spark程序的主入口

RDD：分布式弹性数据集，是Spark内部中最重要的抽象

Broadcast：在各个任务task中重复使用的广播变量

Accumulator：一个只能增加的累加器，在各个任务中都可以进行累加，最终进行全局累加

SparkConf：一个配置对象，用来对Spark中的例如资源，内核个数，提交模式等的配置

SparkFiles：文件访问API

StorageLevel：它提供了细粒度的对于数据的缓存、持久化级别

TaskContext：实验性质的API，用于获取运行中任务的上下文信息。

2.pyspark.sql模块，这个模块是架构在RDD之上的高级模块，提供了SQL的支持，包含以下内容：

SparkSession：SparkSQL的主入口，其内部仍然是调用SparkContext的

DataFrame：分布式的结构化的数据集，最终的计算仍然转换为RDD上的计算

Column：DataFrame中的列

Row：DataFrame中的行

GroupedData：这里提供聚合数据的一些方法

DataFrameNaFunctions:处理缺失数据的方法

DataFrameStatFunctions：提供统计数据的一些方法

functions：内建的可用于DataFrame的方法

types：可用的数据类型

Window:提供窗口函数的支持

3.pyspark.streaming这个模块主要是用来处理流数据，从外部的消息中间件如kafka，flume或者直接从网络接收数据，来进行实时的流数据处理。其内部会将接收到的数据转换为DStream，DStream的内部实际上就是RDD。pyspark.streaming对流数据的支持还不是很完善，不如原生的Scala语言和Java语言。

4.pyspark.ml这个模块主要是做机器学习的，里面实现了很多机器学习算法，包括分类、回归、聚类、推荐。这个的内容我们会囊括最主要的机器学习算法。pyspark.ml这个模块现已经成为主要的机器学习模块，其内部实现是基于DataFrame数据框。

5.pyspark.mllib这个模块也是做机器学习的，但是这个模块底层使用的RDD，RDD在性能上优化的余地较少，因此现在最新的机器学习算法都是用基于DataFrame的API来实现。但这个模块里面也有很多有用的机器学习算法，我们可以适当的把玩一下。

pyspark On Yarn 的模块依赖问题
gmHappy
07-31 711
创建自定义模块 dependency/mydata.py，这个模块被主函数依赖 data = range(100) 创建主程序 引入自定义模块，进行数据打印和和保存至HDFS # -*- coding: utf-8 -*- from pyspark import SparkContext from dependency.mydata import data # 自己写的模块 # 获取spark的上下文 sc = SparkContext() sc.setLogLevel('WARN') out =
PySparkSQL 入门(概述、DataFrame操作)
u013076651的博客
02-27 1467
SparkSQL 是Spark的一个模块, 用于处理海量结构化数据第一、针对结构化数据处理，属于Spark框架一个部分第二、抽象数据结构：DataFrameDataFrame = RDD + Schema信息；第三、分布式SQL引擎，类似Hive框架从Hive框架继承而来，Hive中提供bin/hive交互式SQL命令行及HiveServer2服务，SparkSQL都可以；Spark SQL模块架构示意图如下。
pyspark模块介绍
微信号：RunsenLiu
04-29 1574
pyspark是Spark的python API，提供了使用python编写并提交大数据处理作业的接口。 在pyspark里大致分为5个主要的模块 pyspark模块，这个模块四最基础的模块，里面实现了最基础的编写Spark作业的 API。这个模块里面有以下内容： Sparkcontext:它是编写Spark程序的主入口 RDD：分布式弹性数据集，是Spark内部中最重要的抽象 Broadc...
PySpark开发环境搭建全攻略：从零开始构建大数据分析平台
最新发布
2401_84460368的博客
06-09 669
新建项目时选择Existing interpreter。# 推荐使用Miniconda管理Python环境。# 可选：安装jupyterlab用于交互开发。安装Python扩展和Jupyter扩展。指定conda环境的Python解释器。内存：8GB（16GB以上更佳）建议使用集群部署，至少3节点。# 编辑~/.bashrc。每个节点16GB内存起步。硬盘：50GB可用空间。# 安装PySpark。# 启动Jupyter。# 读取HDFS数据。# 设置允许远程访问。
PySpark架构
feizuiku0116的博客
02-07 1040
一、核心架构图 PySpark宗旨是在不破坏Spark已有的运行时架构，在Spark架构外层包装一层Python API，借助Py4j实现Python和Java的交互，进而实现通过Python编写Spark应用程序，其运行时架构如下图所示。 其中白色部分是新增的Python进程，在Driver端，通过Py4j实现在Python中调用Java的方法，即将用户写的PySpark程序”映射”到JVM中，例如，用户在PySpark中实例化一个Python的SparkContext对象，最终会在JVM中实例化
(译) pyspark.sql 模块概要
cjhnbls的博客
02-04 504
前言:鉴于以后的工作会经常使用pyspark,因此对pyspark官方API中比较常用的一些模块进行翻译,顺便训练一下自己的英文阅读能力. 模块概要 导入Spark SQL和Dataframes中的各个类 pyspark.sql.SparkSession ——– DataFrame 和SQL功能的入口 查看翻译 pyspark.sql.DataFrame ——– 指定列组成的分布...
pyspark 模块化代码
JingYi的专栏
11-12 663
期望实现的功能：建立一个模块，计算出两点间的直线距离（单位为英里），并且将计算结果从英里转换成千米。 1. 创建模块 文件组织结构如下： setup.py: 打包用户自定义的功能模块 from setuptools import setup setup( name='PySparkUtilities', version='0.1dev', packages=['...
PySpark访问MySQL失败：java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
枫叶的落寞的博客
06-06 4528
PySpark访问MySQL失败：java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
PySpark | SparkSQL函数 | SparkSQL运行流程
liujiesxs的博客
06-28 1428
SparkSQL函数定义，SparkSQL整合Hive
pyspark常用类和方法总结：Session、DataFrame、DataFrameReader、DataFrameWriter
爱乂乂的博客
08-29 3839
总结来自pyspark的官方文档：http://spark.apache.org/docs/latest/api/python/index.html pyspark中一共有以下几个包和子包： pyspark pyspark.sql pyspark.streaming pyspark.ml pyspark.mllib 类名 功能 pyspark.sql.SparkSession M...
pyspark-2.4.5.rar
03-01
PySpark 是 Spark 为 Python 开发者提供的 API，位于 $SPARK_HOME/bin 目录，其依赖于 Py4J。 随Spark 2.1.0发布的 Py4J位于 $SPARK_HOME/python/lib 目录，对应的版本是 0.10.4。pyspark.sql 模块pyspark.streaming 模块pyspark.ml 包pyspark.mllib 包
pyspark_study
10-30
python spark on the way
spark-ffm, 关于 Spark，FFM ( 字段Awared分解机).zip
09-17
spark-ffm, 关于 Spark，FFM ( 字段Awared分解机) spark-ffm基于spark的场awared分解机的实现。 请参见 http://www.csie.ntu.edu.tw/~cjlin/papers/ffm.pdf数据应格式化为label field1:feat1:val
pyspark
热门推荐
咖啡男孩之SRE之路
03-13 1万+
本文主要介绍python如何通过pyspark的API操作spark
pyspark - 简介
Bsj' blog
07-26 1080
pyspark PySpark 是 Python 中 Apache Spark 的接口，PySpark支持Spark的大部分功能 支持使用python API编写spark程序 提供了PySpark shell，用于在分布式环境中交互式的分析数据 Spark SQL and DataFrame Spark SQL是Spark的一个结构化数据处理模块，它提供了一个称为 DataFrame 的编程抽象，也可以充当分布式 SQL 查询引擎 Streaming 运行在 Spark 之上，Apache Spar
PySpark核心架构图
weixin_59295776的博客
01-11 266
PySpark架构及 Jupyter Notebook集成环境搭建
sun_0128的博客
08-31 847
文章目录一.在Linux上安装Anaconda二.PySpark简介三.案例1.数据探索:统计寿命预期数据的整体数据信息2.Spark与Python第三方库混用3.使用PySpark通过图形进行数据探索 一.在Linux上安装Anaconda 下载Anaconda https://www.anaconda.com/distribution/ 命令安装Anaconda,除了vscode选择no其他都选择yes bash Anaconda3-5.1.0-Linux-x86_64.sh #spark集成 #安
流量分析--python--pyshark模块常用函数
huangdingyu6的博客
09-13 1031
首先在pyshark默认tshark路径是"C:\Program Files\wireshark"下的所以我们的wireshark要默认安装在c盘安装完成之后在pycharm中安装pyshark模块：pip install pyshark这样子就可以使用pyshark模块了也可以遍历流量包。
from pyspark.sql import SparkSession import matplotlib.pyplot as plt # 指定Mysql的配置 from pyspark.sql.types import StructField, StringType, StructType options = { "url": "jdbc:mysql://localhost:3306/test?useSSL=true", "driver": "com.mysql.jdbc.Driver", "dbtable": "(SELECT taglist from travels_detail where taglist !='None') t1", "user": "root", "password": "root" } spark = SparkSession.builder.getOrCreate() # 加载Mysql数据 data = spark.read.format("jdbc").options(**options).load() # 将每一行的taglist转为列表 def convert_to_list(line): tmp_list = line[0].replace("#", "").split(",") datas = [] for i in tmp_list: if len(i) > 0 and "牛" not in i: datas.append((i, 1)) return datas rdd = data.rdd.flatMap(lambda line: convert_to_list(line)).reduceByKey(lambda x, y: x + y) schemaString = "tag count" fields = [StructField(field_name, StringType(), True) for field_name in schemaString.split()] schema = StructType(fields) schema_data = spark.createDataFrame(rdd, schema).orderBy("count", ascending=False) # 将数据转换为Pandas数据帧 result_pdf = schema_data.limit(5).toPandas() # 设置matplotlib支持中文 plt.rcParams['font.family'] = ['sans-serif'] plt.rcParams['font.sans-serif'] = ['SimHei'] # colors=color, explode=explode, plt.pie(result_pdf["count"], labels=result_pdf["tag"], shadow=True, autopct='%1.1f%%') plt.legend() plt.show()逐行解释
06-09
这段代码是使用 PySpark 从 MySQL 数据库中读取数据，将每一行的 taglist 字段转换为列表，统计列表中每个元素出现的次数，然后将结果转换为 Pandas 数据帧，最后使用 matplotlib 绘制饼图。 这段代码的详细解释如下： 1. 导入需要的模块 ``` from pyspark.sql import SparkSession import matplotlib.pyplot as plt from pyspark.sql.types import StructField, StringType, StructType ``` 这里导入了 `SparkSession` 用于创建 Spark 应用程序，`matplotlib.pyplot` 用于绘制饼图，`StructField`、`StringType`、`StructType` 用于定义数据结构。 2. 配置 MySQL 连接参数 ``` options = { "url": "jdbc:mysql://localhost:3306/test?useSSL=true", "driver": "com.mysql.jdbc.Driver", "dbtable": "(SELECT taglist from travels_detail where taglist !='None') t1", "user": "root", "password": "root" } ``` 这里定义了连接 MySQL 数据库的参数，包括 URL、驱动程序、表名、用户名和密码。 3. 创建 SparkSession ``` spark = SparkSession.builder.getOrCreate() ``` 这里创建了一个 SparkSession 对象，用于连接 Spark 集群。 4. 加载 MySQL 数据 ``` data = spark.read.format("jdbc").options(**options).load() ``` 这里使用 `SparkSession` 对象的 `read` 方法，读取 MySQL 数据库中的数据。 5. 将每一行的 taglist 转为列表 ``` def convert_to_list(line): tmp_list = line[0].replace("#", "").split(",") datas = [] for i in tmp_list: if len(i) > 0 and "牛" not in i: datas.append((i, 1)) return datas rdd = data.rdd.flatMap(lambda line: convert_to_list(line)).reduceByKey(lambda x, y: x + y) ``` 这里定义了一个函数 `convert_to_list`，用于将每一行的 taglist 字段转换为列表，并且去掉其中的 "#" 和 "牛"，统计列表中每个元素出现的次数。 然后使用 `flatMap` 将每一行的 taglist 转换为一个元素为 `(tag, 1)` 的列表，再使用 `reduceByKey` 统计每个 tag 出现的次数。 6. 将数据转换为 Pandas 数据帧 ``` schemaString = "tag count" fields = [StructField(field_name, StringType(), True) for field_name in schemaString.split()] schema = StructType(fields) schema_data = spark.createDataFrame(rdd, schema).orderBy("count", ascending=False) result_pdf = schema_data.limit(5).toPandas() ``` 这里先定义了一个字符串 `schemaString`，表示数据结构的字段名，然后使用 `StructField` 和 `StructType` 定义了数据结构。 接着使用 `createDataFrame` 方法将 RDD 转换为 DataFrame，并按照 `count` 字段降序排序，最后使用 `limit` 和 `toPandas` 方法将结果转换为 Pandas 数据帧。 7. 绘制饼图 ``` plt.rcParams['font.family'] = ['sans-serif'] plt.rcParams['font.sans-serif'] = ['SimHei'] plt.pie(result_pdf["count"], labels=result_pdf["tag"], shadow=True, autopct='%1.1f%%') plt.legend() plt.show() ``` 这里设置 matplotlib 支持中文，然后使用 `pie` 方法绘制饼图，其中 `result_pdf["count"]` 和 `result_pdf["tag"]` 分别表示数据帧中的 `count` 和 `tag` 列。最后使用 `legend` 和 `show` 方法显示图表。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值