sqoop导入hive时间格式问题解决方案

sqoop导入hive时间格式问题解决方案

从mysql导入数据时,发现时间格式有问题,要么是时间后面多一位零,要么要使用时间戳,还能不能好好玩耍了?!
于是,我就逛论坛，找大神，最终无果，也许这个问题过于简单吧，居然没有大牛讨论。想了好几天，也看了sqoop官网，突然灵光一闪，我怎么不去看看mysql官网呢？于是，最终解决方案渐渐揭开了神秘的面纱~~~~~
首先，我们复习一下：

1. mysql 中日期与时间格式

时间日期格式对照表：

时间日期详情对比表:

2.时间日期转换格式:

#第一种方法:
date_col = CAST(datetime_col AS DATE)
#第二种方法:
DATE_FORMAT(SYSDATE(),'%Y-%m-%d %H:%i:%s')

3.sqoop中抽取数据的两个命令:

--columns column_name1,column_name2...
--query 'select column_name1,column_name2...from table where $CONDITIONS'

用法比较:

--columns 后面跟我们需要的属性名,中间不能有空格,不然会报错。
--query 后面可以跟一个sql语句，那就自由了，随便有空格。但是使用时必需要有$CONDITIONS做为条件，没有其他条件就where $CONDITIONS，有其他条件就用AND连接放在最后面。
另外要说明的是，query后面支持双引号和单引号，效果相同，但如果是双引号，where $CONDITIONS会报错，需要在$前加转义字符“\”，即where \$CONDITIONS;

两都比较，我们会发现，如果要转换格式，我们避免不了空格，而且我的需求还是在导入的hive表中添加mysql表中不存在的日期字段。所以只能用--query命令。

4.编辑代码：

sqoop import --hive-import \
--connect jdbc:mysql://xxx.xxx.x.x:3306/pinyougoudb \
--username root \
--password root \
--hive-table tb_name\
--query "SELECT ID,NAME,FIRST_CHAR,DATE_FORMAT(SYSDATE(),'%Y-%m-%d %H:%i:%s') AS CREATION_TIME FROM TB_BRAND WHERE \$CONDITIONS" \
--delete-target-dir \
--target-dir /export/data/sv/bas/tb_brand \
--null-string '' \
--null-non-string ''\
 --fields-terminated-by '\001' \
 -m 1;

5.查看表格数据如下：

hive> select * from tb_name;
OK
1	联想	L	2019-07-17 00:24:32
2	华为	H	2019-07-17 00:24:32
3	三星	S	2019-07-17 00:24:32
4	小米	X	2019-07-17 00:24:32
5	OPPO	O	2019-07-17 00:24:32
6	360	S	2019-07-17 00:24:32
7	中兴	Z	2019-07-17 00:24:32
8	魅族	M	2019-07-17 00:24:32
9	苹果	P	2019-07-17 00:24:32
11	诺基亚	N	2019-07-17 00:24:32
12	锤子	C	2019-07-17 00:24:32

6.时间格式转换

字符变量  	描述
%a	 工作日缩写名称（Sun.. Sat）
%b	 缩写的月份名称（Jan.. Dec）
%c	 月，数字（0.. 12）
%D	 这个月的一天，英语后缀（0th， 1st，2nd， 3rd，...）
%d	 每月的某一天，数字（00.. 31）
%e	 每月的某一天，数字（0.. 31）
%f	 微秒（000000... 999999）
%H	 小时（00.. 23）
%h	 小时（01.. 12）
%I	 小时（01.. 12）
%i	 分钟，数字（00.. 59）
%j	 一年中的一天（001.. 366）
%k 	 小时（0.. 23）
%l	 小时（1.. 12）
%M 	 月份名称（January.. December）
%m	 月，数字（00.. 12）
%p	 AM 要么 PM
%r	 时间，12小时（hh:mm:ss其次是 AM或PM）
%S	 秒（00... 59）
%s	 秒（00... 59）
%T	 时间，24小时（hh:mm:ss）
%U	 周（00.. 53），周日是一周的第一天; WEEK()模式0
%u	 周（00.. 53），周一是一周的第一天; WEEK()模式1
%V	 周（01.. 53），周日是一周的第一天; WEEK()模式2; 用于 %X
%v	 周（01.. 53），周一是一周的第一天; WEEK()模式3; 用于 %x
%W	 工作日名称（Sunday.. Saturday）
%w	 星期几（0=星期日.. 6=星期六）
%X	 星期日是星期的第一天的星期，数字，四位数; 用于%V
%x	 一周的年份，星期一是一周的第一天，数字，四位数; 用于%v
%Y	 年份，数字，四位数
%y	 年份，数字（两位数）
%%	 文字%字符
%x	 x，对于上面未列出的任何 “ x”

7.orcal时间格式转换：

TO_CHAR(CLUMNS,'yyyy-MM-dd hh24:mi:ss')
TO_CHAR(SYSDATE,'yyyy-MM-dd hh24:mi:ss')

什么？你想要时间后面跟更多或更少？好吧，压箱底儿的宝贝也给你吧：

如还有疑问，请留言，谢谢！