基于数据帧进行SQL查询

本教程将通过一个具体的案例来演示如何在Spark SQL中基于数据帧进行SQL查询。我们将从创建临时视图开始，然后使用spark对象执行SQL查询，包括投影、选择、统计和排序等操作。

具体步骤如下：

1. 基于数据帧创建临时视图：

   • 命令格式：df.createTempView() 或 df.createOrReplaceTempView()
   • 案例演示：执行命令 stuDF.createOrReplaceTempView("student")

2. 使用spark对象执行SQL查询：

   • 命令格式：spark.sql("sql语句")
   • 案例演示：
     • 查询全部学生记录：spark.sql("select * from student").show
     • 显示学生表结构：spark.sql("describe student").show
     • 对学生表进行投影操作：spark.sql("select name, age from student").show