- 博客(4)
- 收藏
- 关注
RSS订阅转载 HDFS block块损坏以及修复
模拟block 损坏之后 如何定位以及修复.1.创建一个文件并上传至hdfs[root@ruozedata001 ~]# hdfs dfs -mkdir /blockrecover[root@ruozedata001 ~]# echo “xiaolinzi” > blocktest.md[root@ruozedata001 ~]# hdfs dfs -put blocktest.md...
2020-03-13 10:06:03
696
原创 hive array结构一行转多行
select a,array,b from t LATERAL VIEW EXPLODE(array) v as b把array字段拍扁成b，然后显示在每一行。一行转多行。
2020-03-11 15:26:53
1068
原创 hive 添加列名和csv分隔符转换
set hive.cli.print.header=true;添加字段名。hive -e “select * from t ;” | sed ‘s/\t/,g’ /home/1.csv csv分隔符转化成‘，’。
2020-03-11 09:49:10
483
原创 hive group by 数据倾斜
set hive.map.aggr=true 是否在map端进行聚合，默认为trueset hive.groupby.mapaggr.checkinterval=100000 在map端进行聚合的条目数set hive.groupby.skewindata=true 当使用group by 有数据倾斜的时候 进行负载均衡。...
2020-03-09 10:12:51
621
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人