超级会员免费看
本文详细介绍了如何在Scala中通过Spark SQL将RDD转换为DataFrame，包括三种转换方法：利用反射机制的case class、StructType指定Schema以及直接指定列名。还探讨了Spark SQL的花式查询、相互转换以及在HiveContext中的操作，为Spark SQL的使用提供了全面的示例。
1. 编写Spark SQL程序实现RDD转换成DataFrame
前面我们学习了如何在Spark Shell中使用SQL完成查询，现在我们通过IDEA编写Spark SQL查询程序。
Spark官网提供了两种方法来实现从RDD转换得到DataFrame，第一种方法是利用反射机制，推导包含某种类型的RDD，通过反射将其转换为指定类型的DataFrame，适用于提前知道RDD的schema。第二种方法通过编程接口与RDD进行交互获取schema，并动态创建DataFrame，在运行时决定列及其类型。
第1种：指定列名添加Schema
第2种：通过StructType指定Schema
第3种：编写样例类，利用反射机制推断Schema
第一步：创建maven工程并导入依赖jar包
<properties>
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
