本文介绍了如何将Spark中的RDD转换为DataFrame，包括利用反射机制推断已知数据结构的RDD模式，以及在无法预定义case class时采用编程方式定义RDD模式。通过实例展示了从people.txt文件加载数据并进行SQL查询的过程。
一、利用反射机制推断RDD模式
利用反射机制来推断包含特定类型对象的RDD模式，适合用于对已知数据结构的RDD转换。
在“/usr/local/spark/examples/src/main/resources/”目录下，有个Spark安装时自带的样例数据people.txt，
其内容为：
。
现在要把people.txt加载到内存中生成一个DataFrame，并查询其中的数据。完整执行过程为：
| ①、先导入包
②、在利用反射机制推断RDD模式时，需要首先定义 |
最低0.47元/天 解锁文章
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
