- 博客(3)
- 收藏
- 关注
RSS订阅原创 hive优化
1、Fetch模式（避免生成mapreduce任务），set hive.fetch.task.conversion=more;查全表、按列查、limit都符合2、本地模式3、开启map join，并且设置大小表的阈值4、开启map端聚合，有数据倾斜时进行负载均衡，set hive.groupby.skewindata = true;5、使用count(distinct)时用先group by再count()代替6、严格模式，避免全表扫描（要加过滤条件，如分区），order by要加上limit（因
2022-03-18 09:53:11
149
原创 git stash 用法总结和注意点
**参考链接：**https://www.cnblogs.com/zndxall/p/9586088.html
2021-12-14 16:54:48
331
原创 scala主构造器成员变量不加val和var
scala主构造器成员变量不加val和var如果scala类主构造器上的成员变量不加val或var修饰的话，那这个变量将不可以在类外部被使用，伴生对象也不行
2021-09-06 12:58:26
245
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人