hive
关注
分享
扫一扫
文章平均质量分 55
@DANGE
从事大数据工作多年，分享工作中的所见所闻，目前正在多尝试多接触新的技术，多接触AI 触见未来。
展开
-
Hive 中的设置大全...还在不断更新中
hive中设置map的个数 set mapred.reduce.tasks=10; #好像没啥用 hive中设置为mr set hive.execution.engine=mr;原创 2021-04-30 16:21:46 · 147 阅读 · 1 评论 -
Hive 优化动态分区实现 开启reduce 需要shuffle
hive 动态分区实现 （hive-1.1.0） hive-1.1.0动态分区的默认实现是只有map没有reduce,通过执行计划就可以看出来。（执行计划如下） insert overwrite table public_t_par partition(delivery_datekey) select * from public_oi_fact_partition; hive 默认的动态分区实现，不需要shuffle 那么hive如何通过map就实现了动态分区了呢，stage1根据FileInp原创 2021-04-30 16:05:44 · 1104 阅读 · 1 评论 -
Hive 大量数据动态分区导入出现异常:“如何修复”文件只能复制到0个节点而不是minreplication(=1)。“?
我最终接触到了Cloudera论坛,他们在几分钟内回答了我的问题: http://community.cloudera.com/t5/Storage-Random-Access-HDFS/Why-can-t-I-partition-a-1-gigabyte-dataset-into-300/m-p/86554#M3981 我试过J的建议,但效果很好! 他是这样说的:原创 2021-04-30 12:08:57 · 1252 阅读 · 0 评论