【Flink系列】JDBC写入调优

最新推荐文章于 2025-10-07 14:38:01 发布

原创

最新推荐文章于 2025-10-07 14:38:01 发布 · 2.1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据

本文通过分析Flink实时写入MySQL导致的压力问题，提出了一个优化方案。优化主要步骤包括：1) 不直接将GROUPBY聚合结果写入数据库，而是先存入中间表；2) 转化为DataStream并过滤回撤流；3) 使用TUMBLE窗口获取每分钟的最新聚合数据；4) 使用JdbcSink按需更新数据库。该方法适用于Key空间小且实时性要求不高的场景。

文章参考：记一次Flink 写Mysql优化_三年之期已到的博客-优快云博客

使用Flink开发的应用常见实时写入，即更新每一条流水的统计结果至数据库。在生产环境下，数据库为多个应用共用，那随着Flink应用的不断新增部署，数据库的写入压力越来越大，直至Flink应用出现阻塞等待、背压的情况出现，情况更严重的情况下会导致任务checkpoint超时、重启。

从以上角度出发，考虑针对一些特定场景优化Flink应用，降低写入频次，减轻对数据库的压力。

待优化的代码：

Table clearTransTable = tableEnv.fromDataStream(srcStream,$("stlBranchId"),$("stlOrgId"),$("txnAmt"),$("payTimeTs"),$("bigmccId"));
tableEnv.createTemporaryView("clearTransTable", clearTransTable);
tableEnv.executeSql(
                "  CREATE TABLE rts_clear_mcc_day_trans(\n" +
                        "    stl_branch_id VARCHAR,\n" +
                        "    stl_org_id VARCHAR,\n" +
                        "    bigmcc_id VARCHAR,\n" +
                        "    time_date VARCHAR,\n" +
                        "    trans_count BIGINT,\n" +