
大数据组件
文章平均质量分 89
大数据相关组件
京城小筑
吃得苦中苦 睡得心上人
展开
-
SparkSQL优化笔记-空值关联引起的数据倾斜
1、背景 在做表关联也就是join时,发现了SparkSQL任务产生了数据倾斜,后续定位问题原因,并且优化脚本,大大降低了数据倾斜产生的Task时长过长问题。2、实例原创 2021-11-15 00:39:19 · 2144 阅读 · 5 评论 -
SparkSQL优化笔记-Web-UI参数详解
1、背景 公司内部有大量SparkSQL任务,很多任务有数据倾斜或者内存分配不合理的情况,此博客记录下优化脚本过程中出现的一些问题及经验2、WebUi应用介绍 ...原创 2021-11-08 22:45:06 · 3176 阅读 · 1 评论