本文档介绍了如何在PySpark中操作DataFrame，从创建SparkSession对象到读取数据生成DataFrame，再到对DataFrame的数据操作。内容包括打开官方文档和JupyterLab，创建SparkSession，通过SparkSession读取数据，以及DataFrame的各种功能函数的分类和使用。
操作的对应的视频如下，在腾讯课堂可免费查看所有的视频与下载简介资料个人大数据平台的搭建与学习实践-PySpark-学习视频教程-腾讯课堂 (qq.com)
PySpark的认识和使用
简介
DataFrame在Spark 1.3时加入，其前身是Spark 1中的SQL Context、Streaming Context、Hive Context等对象，它类似于关系数据库中的表，是行和列进行组织数据。
DataFrame相当是一张二维表，可以使用SparkSession中的各种函数来创建。
按照和上小节对Spark RDD的方式进行对Spark DataFrame进行说明，且由于Spark DataFrame是在Spark 2中添加的，通过使用SparkSession进行创建，所以通过以下的步骤进行演示。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
