Spark DataFrame操作

最新推荐文章于 2025-04-22 13:13:15 发布

原创

最新推荐文章于 2025-04-22 13:13:15 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #hive #big data

本文档介绍了如何在PySpark中操作DataFrame，从创建SparkSession对象到读取数据生成DataFrame，再到对DataFrame的数据操作。内容包括打开官方文档和JupyterLab，创建SparkSession，通过SparkSession读取数据，以及DataFrame的各种功能函数的分类和使用。

操作的对应的视频如下，在腾讯课堂可免费查看所有的视频与下载简介资料个人大数据平台的搭建与学习实践-PySpark-学习视频教程-腾讯课堂 (qq.com)

PySpark的认识和使用

简介

DataFrame在Spark 1.3时加入，其前身是Spark 1中的SQL Context、Streaming Context、Hive Context等对象，它类似于关系数据库中的表，是行和列进行组织数据。
DataFrame相当是一张二维表，可以使用SparkSession中的各种函数来创建。

按照和上小节对Spark RDD的方式进行对Spark DataFrame进行说明，且由于Spark DataFrame是在Spark 2中添加的，通过使用SparkSession进行创建，所以通过以下的步骤进行演示。