presto源码分析(join中的谓词下推)

最新推荐文章于 2025-06-26 17:57:37 发布

bigdatar

最新推荐文章于 2025-06-26 17:57:37 发布

阅读量3.9k

点赞数

CC 4.0 BY-SA版权

分类专栏： presto 文章标签：源码

本文链接：https://blog.youkuaiyun.com/sinat_27545249/article/details/53453081

本文详细探讨了Presto在处理JOIN查询时的PredicatePushDown机制，通过实例解析了不同类型的OR条件如何影响谓词下推，以及在不同场景下，如tpch和hive connector中，Presto如何进行优化决策，确保查询的正确性和效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

presto中的join
- 1 PredicatePushDown
举例分析
1 tpch connector
2 hive connector

1 presto中的join

preto在进行两表连接查询时，有时会下发谓词，有时不下发，所以对代码进行了跟踪

1.1 PredicatePushDown

在这个类中，visitJoin方法对join语句的谓词进行了分析，判断是否下推,代码如下：


            Expression inheritedPredicate = context.get();

            // See if we can rewrite outer joins in terms of a plain inner join
            node = tryNormalizeToOuterToInnerJoin(node, inheritedPredicate);

            Expression leftEffectivePredicate = EffectivePredicateExtractor.extract(node.getLeft(), symbolAllocator.getTypes());
            Expression rightEffectivePredicate = EffectivePredicateExtractor.extract(node.getRight(), symbolAllocator.getTypes());
            Expression joinPredicate = extractJoinPredicate(node);//提取join相关的谓词，比如a.id=b.id等

            Expression leftPredicate;
            Expression rightPredicate;
            Expression postJoinPredicate;
            Expression newJoinPredicate;

            switch (node.getType()) {//根据不同的连接类型，产生的不同两表谓词
                case INNER:
                    InnerJoinPushDownResult innerJoinPushDownResult = processInnerJoin(inheritedPredicate,
                            leftEffectivePredicate,
                            rightEffectivePredicate,
                            joinPredicate,
                            node.getLeft().getOutputSymbols());
                    leftPredicate = innerJoinPushDownResult.getLeftPredicate();
                    rightPredicate = innerJoinPushDownResult.getRightPredicate();
                    postJoinPredicate = innerJoinPushDownResult.getPostJoinPredicate();
                    newJoinPredicate = innerJoinPushDownResult.getJoinPredicate();
                    break;
                case LEFT:
                    OuterJoinPushDownResult leftOuterJoinPushDownResult = processLimitedOuterJoin(inheritedPredicate,
                            leftEffectivePredicate,
                            rightEffectivePredicate,
                            joinPredicate,
                            node.getLeft().getOutputSymbols())