【Flink系列】开启jdbc批量写入

背景

开发Flink应用要求计算结果实时写入数据库的，一般业务写入TPS在600-800，如果生产同时跑十几个任务，数据库写入TPS接近一万，对数据库造成了较大压力，使用窗口的优化方向不可行：

1. 计算任务的key值较为分散（如用户，商户维度），小窗口（1分钟、5分钟）计算无法减少写入次数，大窗口（10分钟、1小时）实时性太差；

2. 无法保证上游流水100%有序准时到达，使用窗口计算容易漏算流水；

---

优化思路

使用Flink应用对流水进行计算和统计，结果一般字段较少，每条计算结果的数据量不大，如果开启批量写入，可以降低和数据库之间的网络交换次数，也可提升数据库的数据写入效率；

---

数据库连接配置

• rewriteBatchedStatements        

配置此参数为true以后，jdbc驱动会在executeBatch时将SQL改写，将多条Insert语句合并为一条，效果如下：

改写前：

INSERT INTO `t` (`a`) VALUES(10);
INSERT INTO `t` (`a`) VALUES(11);
INSERT INTO `t` (`a`) VALUES(12);

改写后：

INSERT INTO `t` (`a`) VALUES(10),(11),(12);

• useServerPrepStmts

这个参数是用来节省数据库SQL解析和执行计划消耗的，开启useServerPrepStmts以后，服务器可以将已经解析的SQL反复使用，只在每次客户端提交新的写入请求时填入'?'占位符的参数；

值得注意的是，useServerPrepStmts开启后，客户端不再对SQL预编译，也