本文分享了提高SQL查询性能的方法：合理安排大表扫描顺序、统一连接键、早期过滤数据、简化SQL逻辑、局部排序等技巧，并探讨了如何通过调整MapReduce作业参数来优化大数据处理流程。
1.将大表放在后面,它会将其他表缓存起来,然后最后扫描大表
2.使用相同的连接键
对于三个或者多个表进行join连接的时候,如果每个on子句都使用相同的连接键,只会产生一个MapReduce job
3,尽量尽早的过滤数据
4.尽量原子化操作.尽量避免一个sql包含复杂逻辑
5.order by :对查询结果进行全局排序,消耗时间长
和sort by : 局部排序,提高效率
6,有些功能用python实现
7 调整mapper 和reduce 的个数
8,防止数据倾斜
2.使用相同的连接键
对于三个或者多个表进行join连接的时候,如果每个on子句都使用相同的连接键,只会产生一个MapReduce job
3,尽量尽早的过滤数据
4.尽量原子化操作.尽量避免一个sql包含复杂逻辑
5.order by :对查询结果进行全局排序,消耗时间长
和sort by : 局部排序,提高效率
6,有些功能用python实现
7 调整mapper 和reduce 的个数
8,防止数据倾斜
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
