[Spark][Python][DataFrame][RDD]从DataFrame得到RDD的例子

最新推荐文章于 2025-08-18 23:17:42 发布

转载最新推荐文章于 2025-08-18 23:17:42 发布 · 44 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/gaojian/p/7635011.html

文章标签：

#python #大数据 #json

本文介绍如何使用Spark将DataFrame转换为RDD，并提供了一个具体的例子。首先读取JSON文件创建DataFrame，然后通过RDD方法将其转化为RDD格式。此过程展示了Spark中不同数据结构之间的转换方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

[Spark][Python][DataFrame][RDD]从DataFrame得到RDD的例子

$ hdfs dfs -cat people.json

{"name":"Alice","pcode":"94304"}
{"name":"Brayden","age":30,"pcode":"94304"}
{"name":"Carla","age":19,"pcoe":"10036"}
{"name":"Diana","age":46}
{"name":"Etienne","pcode":"94104"}

$pyspark

sqlContext = HiveContext(sc)

peopleDF = sqlContext.read.json("people.json")

peopleRDD = peopleDF.rdd
peopleRDD.take(5)

[Row(age=None, name=u'Alice', pcode=u'94304', pcoe=None),
Row(age=30, name=u'Brayden', pcode=u'94304', pcoe=None),
Row(age=19, name=u'Carla', pcode=None, pcoe=u'10036'),
Row(age=46, name=u'Diana', pcode=None, pcoe=None),
Row(age=None, name=u'Etienne', pcode=u'94104', pcoe=None)]

转载于:https://www.cnblogs.com/gaojian/p/7635011.html