shy_snow的专栏

把hudi的 hudi-flink-bundle_2.12-0.10.0.jar放到 flink的lib下即可从flink-sql客户端读写hudi表。下面是完全参考hudi官网的示例一、下载安装flink本地集群，并将hudi的 hudi-flink-bundle_2.12-0.10.0.jar放到 flink的lib下。1.解压tar -zxvf flink-1.13.3-bin-scala_2.12.tgz mv flink-1.13.3-bin-scala_2.12 flin.

mysql-cdc支撑正则表达式的库名表名来匹配多个库多个表来获取分库分表情况下的mysql数据。只需要在创建flink源表时在数据库和表名上使用正则匹配即可。建表语句:DROP TABLE IF EXISTS `2person`;CREATE TABLE `2person` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `name` varchar(20) NOT NULL DEFAULT '', PRIMARY KE..

测试使用的是flinkCdc2.1.1版本(无锁同步,1.x版本有同步锁)目前支持mysql5.7及以上版本;要在mysql.cnf中配置开启开启mysql的bin-log日志,log_bin=mysql-binbinlog_format=ROW并且只支持ROW格式，其他mixed和statement会报错如果想配置控制binlog日志的范围,在数据库范围可以使用mysql的binlog-do-db和binlog-ignore-db,表级别可以使用replicate_wild_do_t.

org.apache.flink flink-connector-elasticsearch6_2.11 1.13.6

报错NoSuchMethodError: org.apache.http.HttpHost.create(Ljava/lang/String;)Lorg/apache/http/HttpHost;查看依赖jar中的class的确没有create方法,查看网上有人说是jar版本太低导致的, 增加下面的高版本依赖后解决:

import com.ververica.cdc.connectors.postgres.PostgreSQLSource;import com.ververica.cdc.debezium.JsonDebeziumDeserializationSchema;import org.apache.flink.api.common.eventtime.WatermarkStrategy;import org.apache.flink.streaming.api.datastream.DataStreamS