wengad的博客

如果没什么异常，那么可以登录doris里面，看app_db下有新生成了表，且已经将数据同步过来，接着可以在mysql中做数据更新、删除、插入等操作，会发现，数据会同步更新到doris中。其中table.create.properties.replication_num设置成1，默认是3，因为这里的doris BE只有一个节点。在flink-cdc下执行如下，提交CDC任务，其中的cdcjob.yaml即为CDC的配置文件，可以使用绝对路径。具体的日志，也可以在flink的log目录下去查看。

在普通用户下(这里用datatech,HOME=/home/datatech)解压(直接在$HOME下解压)，解压后生成flink-1.18.1 目录，做一个软链接，方便后续换版本，同时也可以少输入一些内容，根据习惯，也可以不做。直接到https://flink.apache.org去下载编译好的tar包即可，这里用的是1.8.1的版本。包名 flink-1.18.1-bin-scala_2.12.tgz。可以修改下JobManager和TaskManager的内存。日志在flink/log下。

这里使用flink-cdc 3.0.1+flink 1.8.1+doris 2.1.0+mysql来实现，从mysql同步到doris。flink不要使用1.9.X，因为1.8.x的配置和1.9.x的配置不一样，导致flink-cdc无法兼容。

在使用 Flink CDC 进行同步时，你还需要在 Flink SQL 客户端或作业中提供相应的 MySQL 连接参数，包括 URL、用户名、密码以及可能的表过滤规则等。这样，Flink CDC 就能通过 JDBC 接口连接到 MySQL 并开始监听指定表的变更事件。binlog-format=row # 使用 ROW 格式，以便记录每行数据的更改。log-bin=mysql-bin # 开启二进制日志，并设置日志文件前缀。注意，这里创建的表要有主键，不然同步的时候不能成功。创建用于同步的数据库和表。

使用flume1.9.0采集滚动日志，配置：ag1.sources = s1ag1.channels = c1ag1.sinks = k1ag1.sources.s1.type=execag1.sources.s1.command=tail -F "/home/flume/logtest/logtest-20190518.log"ag1.channels.c1.type=memo...