spark循环读取日期文件数据

最新推荐文章于 2025-09-21 11:55:56 发布

原创最新推荐文章于 2025-09-21 11:55:56 发布 · 1.8k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#scala #spark

spark 同时被 2 个专栏收录

12 篇文章

订阅专栏

scala

1 篇文章

订阅专栏

本文介绍了一种利用Scala和Spark框架循环生成指定格式日期数据的方法，并将生成的数据保存为文本文件。通过Calendar类实现日期的递增操作，具体实现了每周内每天日期的生成，并对数据进行了处理。

val TimeFormat = new SimpleDateFormat("yyyyMMdd")//设定日期的格式

val year = "2016"

    val month = "01,02,03,04,05,06,07,08,09,10,11,12".split(",")
    val testpath = "E:\\Portable\\sibat\\spark\\testdata"
    val calender = Calendar.getInstance()
    for(i <- month){
      for(j <- 0 until 6) { //递增一周
        try {
          calender.setTime(TimeFormat.parse(year + i + "28"))
          calender.add(Calendar.DATE, j) //日期递增j天
        }catch {
          case e: Exception =>
            e.printStackTrace()
        }
        val date = TimeFormat.format(calender.getTime) //规定格式输出递增的日期
        CalStationIO(sparkSession,path+date).saveAsTextFile(outpath+date)
      }
    }

  def CalStationIO(sparkSession: SparkSession,path:String):RDD[String]={
    sparkSession.sparkContext.textFile(path+"/*").map(_.split(",")).filter(_.length>=6).map(s => szt(s(0),s(1),s(2),s(3),s(4),s(5),s(6)))}

通过calender来循环得到日期递增的字符串