剑指数据仓库-Hive04

一、上次课回顾

二、Hive04

• 2.1、大数据中的各种排序（order by、sort by、cluster by）

三、SQOOP的使用

• 3.1、SQOOP的产生背景&简介
• 3.2、SQOOP的安装部署
• 3.3、SQOOP的简单使用
• 3.4、SQOOPimport的详细使用

一、上次课回顾

• https://blog.youkuaiyun.com/SparkOnYarn/article/details/105182082
• join分为内连接、外连接、左外连接、右外连接，全连接；三种复杂的数据类型：Map、Struct、Array，这三种类型的定义，存值和取值；内置函数只需要查看详细定义即可；在Hive中不建议存储json数据，内置函数可以解析出网址（parse_url_tuple）

二、Hive04

2.1、大数据中的排序（order by、sort by、cluster by）

排序问题在数据量少的时候是没有问题的，但是数据量一多，问题就出来了：

1、order by(全局排序)

• 如上要实现全局排序，必然是只能有一个reduce；多个reduce的话，reduce1中有序，reduce2中有序，但是无法保证全局有序。生产上order by是慎用的，数据量大，但是只有一个reduce，

select * from emp order by empno desc;

0: jdbc:hive2://hadoop001:10000/ruozedata_hiv> set hive.mapred.mode=strict;
No rows affected (0.004 seconds)
0: jdbc:hive2://hadoop001:10000/ruozedata_hiv> select * from emp order by empno desc;
Error: Error while compiling statement: FAILED: SemanticException 1:27 In strict mode, if ORDER BY is specified, LIMIT must also be specified. Error encountered near token ‘empno’ (state=42000,code=40000)

打开hive.configure.properties，注意参数：hive.mapred.mode；在严格模式中，一些负载重的查询是不被允许跑的，举例：全表扫描是被禁止的单单使用order by的话，必须加上limit字段：

我们找一张分区表进行操作：
/ruozedata_hiv> select * from order_partition where event_month=‘2020-01’ order by order_no desc;
Error: Error while compiling statement: FAILED: SemanticException 1:67 In strict mode, if ORDER BY is specified, LIMIT must also be specified. Error encountered near token ‘order_no’ (state=42000,code=40000)

0: jdbc:hive2://hadoop001:10000/ruozedata_hiv> set hive.mapred.mode=nonstrict;
No rows affected (0.002 seconds)

0: jdbc:hive2://hadoop001:10000/ruozedata_hiv> select * from order_partition where event_month=‘2020-01’ order by order_no desc;

严格模式下：
如果是普通表：order by + limit
分区表：order by + limit where partition column

• order by 在生产上慎用：

sort by

• 能保证每个分区有序，你有几个reduce，它出来的结果都是有序的，但是不能保证全局有序；sort by 不受严格模式、非严格模式的影响：column列可以是多个，数值类型 --> 数字；字符串类型 --> 字典：
• 字典序就是按照字母abcd的顺序排列：

name	value	description
mapred.reduce.tasks	-1