成为 Apache 顶级项目贡献者之路：Apache Doris 的语法迁移攻略

最新推荐文章于 2025-02-25 18:37:58 发布

数据微光a

最新推荐文章于 2025-02-25 18:37:58 发布

阅读量951

点赞数 14

分类专栏： Doris 文章标签： apache 数据库开源大数据

本文链接：https://blog.youkuaiyun.com/qq_37921144/article/details/144751812

版权

Doris 专栏收录该内容

6 篇文章

订阅专栏

Apache Doris 是一个开源的 MPP（大规模并行处理）数据库，作为 Apache 顶级项目之一，它提供了高性能、高扩展性的分析能力。在 Doris 的发展过程中，新优化器在增强开箱即用的能力方面扮演了重要角色，但是有些老优化器的语法在新优化器还没有支持，因此有了这个旧优化器语法迁移到新优化器的任务。本文将带你深入了解如何实现一个语法迁移任务，探索从入门到贡献者的全过程，助力您成为 Apache Doris Contributor。

🛠 任务内容

您将协助将一个 DDL 命令从旧优化器（Old Planner）迁移到我们的新优化器 （Nereids Optimizer）。这项工作包括理解 DDL 命令在旧系统中的处理结构，并将其适配到 Nereids 的新执行流程中。

🎯 适合您的理由

- 分步骤指导：迁移方案包含解析、校验和执行等结构化步骤，简单易学。
- 导师支持和社区帮助：团队随时为您解答疑问，这个任务也将让您熟悉我们的核心组件和友好的开发者社区。
- 技能提升：您将学习DDL命令处理逻辑及高级代码库的工作方式。

💡 如何开始

- 了解 旧优化器 中 DDL 命令的结构（解析、校验、执行）。
- 将这些步骤适配到 Nereids 优化器 的工作流程中（使用 validate() 进行语法校验，并用 run() 进行执行）。
- 测试您的更改并提交拉取请求！

即使您对某些部分不熟悉也没关系——我们会为您提供帮助！加入我们，让项目更快、更智能、更出色。让我们开始吧！🎉

**Demo PR 示例(https://github.com/apache/doris/pull/43103)
Issues Project(https://github.com/orgs/apache/projects/424/views/1)**

完成一个迁移任务的主要流程

在 project issues 页面(https://github.com/orgs/apache/projects/424/views/1) 选择未分配且未处理的 issue，并评论 “I will pick it” 来领取任务。
将 issue 状态修改为 InProgress，理解 issue 中命令功能并书写测试。
实现迁移任务代码，提交 PR 发起 review request，将 PR 链接附在 issue 中，并将其状态改为 In Review。
根据代码 review 意见修改代码并合并，将 issue 状态修改为 Done。

实现迁移任务的框架和原理

旧优化器逻辑 主要分为三步：
1. 使用 sql_parser.cup 文件解析语法： parseByLegacy()
2. 校验语句合法性： analyze()
3. 执行语句： handleXXXStmt()，位于 DdlExecutor 或 StmtExecutor 里。

public class UnsetDefaultStorageVaultStmt extends DdlStmt implements NotFallbackInParser {

    public UnsetDefaultStorageVaultStmt() {}

    @Override
    public void analyze(Analyzer analyzer) throws UserException {
        if (Config.isNotCloudMode()) {
            throw new AnalysisException("Storage Vault is only supported for cloud mode");
        }
        if (!FeConstants.runningUnitTest) {
            // In legacy cloud mode, some s3 back-ended storage does need to use storage vault.
            if (!((CloudEnv) Env.getCurrentEnv()).getEnableStorageVault()) {
                throw new AnalysisException("Your cloud instance doesn't support storage vault");
            }
        }

        // check auth
        if (!Env.getCurrentEnv().getAccessManager().checkGlobalPriv(ConnectContext.get(), PrivPredicate.ADMIN)) {
            ErrorReport.reportAnalysisException(ErrorCode.ERR_SPECIFIC_ACCESS_DENIED_ERROR, "ADMIN");
        }

        super.analyze(analyzer);
    }

    @Override
    public String toSql() {
        final String stmt = "UNSET DEFAULT STORAGE VAULT";
        return stmt;
    }

}

新优化器机制：尝试通过 executeByNereids 进行新优化器执行，失败则回退至旧优化器 executeByLegacy 执行。
实现新任务：在对应命令的 run 函数中实现语法校验（validate()）和执行逻辑。

实现一个迁移任务的原则

保留旧优化器代码：避免大规模问题。
避免旧优化器 Analyzer：不生成 xxxStmt 对象，消除对其依赖。
参考旧逻辑：对比对应的 xxxStmt 逻辑。

如何书写迁移任务的测试

迁移任务测试确认：确认可以用新优化器成功执行，参考 demo，并在 regression-test/suites/nereids_p0/ddl 下编写新测试。
使用 checkNereidsExecute("sql") 进行脚本测试，验证 SQL 执行和优化器调用。

如何实现一个迁移任务

以下是结合 Demo(https://github.com/apache/doris/pull/43103) 的详细步骤解析：

书写案例
- 分析迁移任务的目的和作用。
- Demo 中 unset 任务，set 和 unset 交替，确保设置生效。详细测试文件(https://github.com/apache/doris/pull/43103)
语法解析
- 将命令转为抽象语法树，修改 DorisParser.g4，解析 UnsetVariableCommand。
执行前检查
- 实现合法性验证：在 UnsetVariableCommand.run() 中实现详细检查，可参考旧逻辑 UnsetVariableStatement.analyze()。
实现执行逻辑
- 参考旧优化器 handleXXXStatement，在 Demo 中使用 handleUnsetVariableStmt()。
  老优化器

@Override
    public void analyze(Analyzer analyzer) throws UserException {
        if (Config.isNotCloudMode()) {
            throw new AnalysisException("Storage Vault is only supported for cloud mode");
        }
        if (!FeConstants.runningUnitTest) {
            // In legacy cloud mode, some s3 back-ended storage does need to use storage vault.
            if (!((CloudEnv) Env.getCurrentEnv()).getEnableStorageVault()) {
                throw new AnalysisException("Your cloud instance doesn't support storage vault");
            }
        }

新优化器

@Override
    public void run(ConnectContext ctx, StmtExecutor executor) throws Exception {
        if (Config.isNotCloudMode()) {
            throw new AnalysisException("Storage Vault is only supported for cloud mode");
        }
        if (!FeConstants.runningUnitTest) {
            // In legacy cloud mode, some s3 back-ended storage does need to use storage vault.
            if (!((CloudEnv) Env.getCurrentEnv()).getEnableStorageVault()) {
                throw new AnalysisException("Your cloud instance doesn't support storage vault");
            }
        }

        // check auth
        if (!Env.getCurrentEnv().getAccessManager().checkGlobalPriv(ConnectContext.get(), PrivPredicate.ADMIN)) {
            ErrorReport.reportAnalysisException(ErrorCode.ERR_SPECIFIC_ACCESS_DENIED_ERROR, "ADMIN");
        }

        ctx.getEnv().getStorageVaultMgr().unsetDefaultStorageVault();
    }