超级会员免费看
本文记录了在Spark SQL中遇到的优化问题，包括避免使用`in`和`not in`，解决数据倾斜，大表与小表的高效JOIN策略，以及优化MySQL写入速度。文中提供了具体的解决方案和注意事项，帮助提升Spark SQL的执行效率。
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun
前言
记录自己在工作开发中遇到的SQL优化问题
1、避免用in 和 not in
解决方案：
- 用exists 和 not exists代替
- 用join代替
not exists示例
not in:
select stepId,province_code,polyline from route_step where stepId not in 
订阅专栏 解锁全文
扫一扫
2448
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
