本文介绍了如何在Spark中实现RDD、Dataset与DataFrame之间的转换，包括从RDD转换为Dataset和DataFrame的方法，以及从DataFrame和Dataset转换回RDD的过程。通过这些转换，开发者可以灵活地在不同数据类型间切换，以满足各种数据处理需求。
1.RDD -> Dataset
val ds = rdd.toDS()
2.RDD -> DataFrame
val df = spark.read.json(rdd)
3.Dataset -> RDD
val rdd = ds.rdd
4.Dataset -> DataFrame
val df = ds.toDF()
5.DataFrame -> RDD
val rdd = df.toJSON.rdd
6.DataFrame -> Dataset
val ds = df.toJSON
val ds = rdd.toDS()
2.RDD -> DataFrame
val df = spark.read.json(rdd)
3.Dataset -> RDD
val rdd = ds.rdd
4.Dataset -> DataFrame
val df = ds.toDF()
5.DataFrame -> RDD
val rdd = df.toJSON.rdd
6.DataFrame -> Dataset
val ds = df.toJSON
扫一扫
1564
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
