HIVE相关问题

最新推荐文章于 2024-11-11 09:07:34 发布

原创最新推荐文章于 2024-11-11 09:07:34 发布 · 289 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hive #大数据

hive 专栏收录该内容

3 篇文章

订阅专栏

1)Hive数据倾斜问题：

倾斜原因： map输出数据按Key Hash分配到reduce中,由于key分布不均匀、或者业务数据本身的特点。】【等原因造成的reduce上的数据量差异过大。
1.1)key分布不均匀
1.2)业务数据本身的特性
1.3)SQL语句造成数据倾斜
解决方案：
1>参数调节：
hive.map.aggr=true
hive.groupby.skewindata=true
有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同Group By Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MR Job在根据预处理的数据结果按照 Group By Key 分布到Reduce中(这个过程可以保证相同的 Group By Key 被分布到同一个Reduce中)，最后完成最终的聚合操作。
2>SQL语句调节：
1)选用join key 分布最均匀的表作为驱动表。做好列裁剪和filter操作，以达到两表join的时候，数据量相对变小的效果。
2)大小表Join：使用map join让小的维度表（1000条以下的记录条数）先进内存。在Map端完成Reduce。
3)大表Join大表：把空值的Key变成一个字符串加上一个随机数，把倾斜的数据分到不同的reduce上，由于null值关联不上，处理后并不影响最终的结果。
4)count distinct大量相同特殊值：count distinct时，将值为空的情况单独处理，如果是计算count distinct，可以不用处理，直接过滤，在做后结果中加1。如果还有其他计算，需要进行group by，可以先将值为空的记录单独处理，再和其他计算结果进行union.

2)请说明hive中 sort by ，order by ，cluster by ，distribute by各代表什么意思。

order by ：会对输入做全局排序，因此只有一个reducer(多个reducer无法保证全局有序).只有一个reducer,会导致当输入规模较大时，需要较长的计算时间。
sort by ：不是全局排序，其在数据进入reducer前完成排序
distribute by ：按照指定的字段对数据进行划分输出到不同的reduce中
cluster by ：除了具有distribute by 的功能外还兼具sort by 的功能

3)描述数据中的null,在hive底层如何存储

null在hive底层默认是用"\N"来存储的，所以在sqoop到mysql之前需要将为null的数据加工成其他字符，否则sqoop提示错误

4)Hive中 split、coalesce以及collect_list函数的用法 split将字符串转化为数组

coalesce(T v1,T v2,...) 返回参数中的第一个非空值；如果所有值都为null,那么返回null
collect_list列出该字段所有的值,不去重 select collect_list(id) from table;

5)将文件导入到hive表中

load data local inpath ‘/a.txt’ overwrite into table test partition(xx=‘xx’)

6)Hive文件压缩格式有哪些，压缩效率如何开启压缩

set hive.exec.compress.output=true;
set mapred.output.compress=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set io.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set mapred.output.compression.type=BLOCK;
TextFile (压缩方式Gzip,Bzip2压缩后不支持split)
SequenceFile
RCFile(存储方式：数据按行分块，每块按列存储。结合了行存储和列存储的优点)
ORCFile