SparkSql优化-读取MySql慢优化-写入MySql慢优化-表关联注意
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、SparkSql读取mysql慢优化二、spark写入mysql数据慢1.批量写入mysql数据2.计算完之后在重新分区,防止数据倾斜写入的时候特别慢3.调整shuffle的分区数量三、SparkSql关联查的坑1.spark 区分大小写 mysql不区分,关联查的时候尽量都转大写,并且要去除前后空格2.SparkSql时区问题3.spark在进行比较或者过滤的时候是区分类型的前言SparkSqk读mysql计算写入m
原创
2021-07-29 17:45:57 ·
2373 阅读 ·
0 评论