spark处理本地文件数据

/**

  • spark 根据本地文件来处理数据
  • 样例类+RDD创建DataFrame
    */

具体代码如下:

object SparkFile {
  case class Record(shopId:String,date:String,volume:String)
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkSession.builder()
      .master("local[*]").appName("spark_sql_01")
      .getOrCreate()

    val sc = spark.sparkContext
    val rdd: RDD[Record] = sc.textFile("file:///C:\\Users\\Administrator\\study\\spark\\Spark_Mysql\\file\\***.txt", 5)
      .mapPartitions(p => {
        p.map(line => {
          val ps = line.split(",")
          Record(ps(0), ps(1), ps(2))
        })
      })
//    val frame: DataFrame = spark.createDataFrame(rdd)
//    frame.show()
//    println(frame.count())//总共有300000行数据

    import spark.implicits._
    val rx = "(.*?)-(.*?)-(.*?) .*"
    spark.createDataFrame(rdd)
        .select($"shopId".cast("Int"),
          regexp_extract($"date",rx,1).as("year"),
          regexp_extract($"date",rx,2).as("month"),
          regexp_extract($"date",rx,3).as("day"),
          $"volume".cast("Float")
        )
      //日聚合
      .groupBy($"shopId",$"year",$"month",$"day")
        .agg(sum($"volume").as("sumVolume")
          ,count($"volume").as("cntVolume"))

      //月聚合
      .groupBy($"shopId",$"year",$"month")
      .agg(sum($"sumVolume").cast("decimal(10,2)").as("sumVolume")
        ,sum($"cntVolume").as("cntVolume"))
      .filter($"sumVolume".geq(100000))
      .sort($"sumVolume".desc,$"cntVolume".asc)

//      .select($"shopId",$"year",$"month",$"day",$"sumVolume",$"cntVolume")
      .limit(20)
        .show()


    sc.stop()
    spark.close()

  }
}
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值