
Hive
文章平均质量分 74
Hive
南风知我意丿
“知识,哪怕是知识的幻影,也会成为你的铠甲,保护你不被愚昧反噬”
展开
-
Spark Sql之count(distinct)分析&&学习&&验证
先说结论:spark sql和hive不一样,spark对count(distinct)做了group by优化>在hive中count().>hive往往只用一个 reduce 来处理全局聚合函数,最后导致数据倾斜;在不考虑其它因素的情况下,我们的优化方案是先 group by 再 count ...原创 2022-08-27 18:59:24 · 5247 阅读 · 1 评论 -
Hive之数据迁移方案(实测)
Hive的迁移涉及两个技术点:1.仅迁移元数据2.元数据及Hive数据全量迁移2.1 全表迁移2.1.1 旧集群2.1.2 新集群2.2 仅部分分区迁移(主要步骤)2.1.1 旧集群2.1.2 新集群2.3 beeline连接hive并进行数据迁移...原创 2022-08-26 11:31:12 · 1438 阅读 · 0 评论 -
Hive开发小技巧
hive 开发小技巧转载 2022-07-21 15:56:51 · 349 阅读 · 0 评论