spark demo 运行

原创

已于 2024-01-12 15:59:25 修改 · 2.4k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Scala

于 2022-04-07 18:49:23 首次发布

本文介绍了如何使用Scala进行Spark项目开发，包括设置Scala SDK、打包jar包以及在线上运行Spark SQL查询。同时，讲解了读写Hive表数据，特别是写入分区表的操作流程。

1. 自定义数据生成查询表

package com.zz.spark.sparksql
import org.apache.spark.sql.{DataFrame, SparkSession}

/**
  * 自定义DataFrame注册成数据表，查询数据表
  */
object Demo1 {
    def main(args: Array[String]): Unit = {
        val spark = SparkSession.builder()
                .appName("Demo1")
                .master("local")
                .getOrCreate()

        val df: DataFrame = spark.createDataFrame(
            Seq(("zhangsan", 22), ("lisi", 33), ("wangwu", 44))
        ).toDF("name", "age")
        df.show()

        df.createTempView("t_user")
        val result: DataFrame = spark.sql("select * from t_user where age=33")
        result.show()

        spark.close()
    }
}