spark编程07——关于数据清洗中的时间格式（二）

原创已于 2022-03-19 10:55:15 修改 · 2.3k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#数据清洗 #时间格式处理

于 2022-03-19 10:54:51 首次发布

BigData学习专栏收录该内容

24 篇文章

订阅专栏

这篇博客主要讨论了在处理各种不规范的时间数据格式时，如何进行转换和标准化。内容包括将带有冒号、点或无符号的小时分钟格式统一为HH:MM的标准格式，并针对特定数值如8、6、21、22等进行前导零补充。

那些年遇到的杂七杂八时间数据：

数据问题
数据类型处理后格式
HH: MM(:后面有空格) HH:MM
HH.MM HH:MM
HHMM HH:MM
HH:MM HH:MM
8 08:00
6 06:00
21 21:00
22 22:00

数据问题
数据类型	处理后格式
HH: MM(:后面有空格)	HH:MM
HH.MM	HH:MM
HHMM	HH:MM
HH:MM	HH:MM
8	08:00
6	06:00
21	21:00
22	22:00

def replaceTime3(time:String):String={
      var ansTime = time
      if(time.contains("："))
      {
        val time1=new SimpleDateFormat("HH：mm")
        val time2=new SimpleDateFormat("HH:mm")
        val t: Date =time1.parse(time)
        ansTime=time2.format(t)
      }
      else if(time.contains("."))
      {
        val time1=new SimpleDateFormat("HH.mm")
        val time2=new SimpleDateFormat("HH:mm")
        val t: Date =time1.parse(time)
        ansTime=time2.format(t)
      }
      else if(!time.contains(":")&&(!time.equals("8"))&&(!time.equals("21"))&&(!time.equals("6"))&&(!time.equals("22")))
      {
        val time1=new SimpleDateFormat("HHmm")
        val time2=new SimpleDateFormat("HH:mm")
        val t: Date =time1.parse(time)
        ansTime=time2.format(t)
      }
      if(time.equals("8"))
        ansTime="08:00"
      if(time.equals("6"))
        ansTime="06:00"
      if(time.equals("21"))
        ansTime="21:00"
      if(time.equals("22"))
        ansTime="22:00"
      ansTime
    }