PySpark 学习笔记二

最新推荐文章于 2025-01-06 16:32:35 发布

原创

最新推荐文章于 2025-01-06 16:32:35 发布 · 5.7k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#pyspark

本文介绍了PySpark中的DataFrames，重点讲述了如何创建、操作和查询DataFrame。内容包括通过SparkSession读取数据，创建临时表，使用.show()显示数据，通过反射或自定义schema转换RDD为DataFrame，以及使用DataFrame API和SQL进行数据查询和过滤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2 DataFrames
和Python的dataframe类似，pyspark也有dataframe，其处理速度远快于无结构的RDD。

Spark 2.0 用 SparkSession 代替了SQLContext。各种 Spark contexts，包括:
HiveContext, SQLContext, StreamingContext,以及SparkContext
全部合并到了SparkSession中，以后仅用这一个包作为读取数据的入口。

2.1 创建 DataFrames
准备工作：

>>> import pyspark
>>> from pyspark.sql import SparkSession
>>> spark = SparkSession.builder \
        .appName("Python Spark SQL basic example") \
        .config("spark.some.config.option", "some-value") \
        .getOrCreate()
>>> sc = spark.sparkContext

首先创建一个 stringJSONRDD的 RDD，然后将它转为一个DataFrame。

>>> stringJSONRDD = sc.parallelize(('''
...                     {'id':'123',
...                     'name':'Katie',
...                     'age':19,
...                     'eyeColor':'brown'}''',
...                     '''{'id','234',
...                     'name':'Michael',
...                     'age':22,
...                     'eyeColor':'green'}'