PySpark tutorial 学习笔记6——Serializers

最新推荐文章于 2025-07-11 16:56:51 发布

原创最新推荐文章于 2025-07-11 16:56:51 发布 · 583 阅读

2 ·

CC 4.0 BY-SA版权

大数据专栏收录该内容

8 篇文章

订阅专栏

本文介绍了PySpark中序列化的基本概念及其对性能的影响，并详细对比了两种主要的序列化方式：PickleSerializer与MarshalSerializer。通过一个具体示例展示了如何使用MarshalSerializer进行数据序列化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Serializers

Serializers用于Apache Spark的性能调优。通过网络发送或写入磁盘或持久存储在内存中的所有数据都应该序列化.

PySpark支持用于性能调优的自定义序列化程序。 PySpark支持以下两个序列化程序 -

MarshalSerializer
使用Python的Marshal Serializer序列化对象。此序列化程序比PickleSerializer更快，但支持更少的数据类型。

class pyspark.MarshalSerializer

PickleSerializer
使用Python的Pickle Serializer序列化对象。此序列化程序几乎支持任何Python对象，但可能不如MarshalSerializer快。

class pyspark.PickleSerializer
让我们看一下PySpark序列化的例子。在这里，我们使用MarshalSerializer序列化数据。

--------------------------------------serializing.py-------------------------------------
from pyspark.context import SparkContext
from pyspark.serializers import MarshalSerializer
sc = SparkContext("local", "serialization app", serializer = MarshalSerializer())
print(sc.parallelize(list(range(1000))).map(lambda x: 2 * x).take(10))
sc.stop()
--------------------------------------serializing.py-------------------------------------
Command − The command is as follows −

$SPARK_HOME/bin/spark-submit serializing.py
Output − The output of the above command is −

[0, 2, 4, 6, 8, 10, 12, 14, 16, 18]