wengad的博客

本文详细介绍了Apache Flink和Kafka的环境部署过程，针对Flink 1.20.2和Kafka 4.1.0版本提供了两种部署方式：1）非容器化部署需分别配置JDK11和JDK17环境，包括SSH免密登录设置和集群配置；2）推荐使用Podman容器化部署Kafka，简化了流程。部署完成后可通过Web界面(http://[IP]:8081)监控Flink集群状态。最后简要提及实验目标：实现Flink消费Kafka消息并输出到控制台的功能。文章提供了完整的安装流程和关键配置说明。

续flink1.20.2环境部署和实验-1的内容，搭建flink应用开发环境，实现flink消费kafka数据，并打印在控制台。

本文详细介绍了在CentOS Stream 10虚拟机上非docker化安装Apache Doris 2.1.10单机实验环境的步骤。内容包括：1) 准备OpenJDK 8环境；2) 操作系统配置（修改文件句柄数、虚拟内存区域、关闭swap和防火墙）；3) 创建专用doris用户；4) 部署FE和BE节点，配置元数据和存储路径；5) 启动服务并验证运行状态；6) 通过MySQL客户端注册BE节点；7) 创建测试数据库和表验证安装。该环境适合学习使用，需要至少4核CPU、8GB内存和50GB磁盘空间，重点解决

如果没什么异常，那么可以登录doris里面，看app_db下有新生成了表，且已经将数据同步过来，接着可以在mysql中做数据更新、删除、插入等操作，会发现，数据会同步更新到doris中。其中table.create.properties.replication_num设置成1，默认是3，因为这里的doris BE只有一个节点。在flink-cdc下执行如下，提交CDC任务，其中的cdcjob.yaml即为CDC的配置文件，可以使用绝对路径。具体的日志，也可以在flink的log目录下去查看。

在普通用户下(这里用datatech,HOME=/home/datatech)解压(直接在$HOME下解压)，解压后生成flink-1.18.1 目录，做一个软链接，方便后续换版本，同时也可以少输入一些内容，根据习惯，也可以不做。直接到https://flink.apache.org去下载编译好的tar包即可，这里用的是1.8.1的版本。包名 flink-1.18.1-bin-scala_2.12.tgz。可以修改下JobManager和TaskManager的内存。日志在flink/log下。

这里使用flink-cdc 3.0.1+flink 1.8.1+doris 2.1.0+mysql来实现，从mysql同步到doris。flink不要使用1.9.X，因为1.8.x的配置和1.9.x的配置不一样，导致flink-cdc无法兼容。

在使用 Flink CDC 进行同步时，你还需要在 Flink SQL 客户端或作业中提供相应的 MySQL 连接参数，包括 URL、用户名、密码以及可能的表过滤规则等。这样，Flink CDC 就能通过 JDBC 接口连接到 MySQL 并开始监听指定表的变更事件。binlog-format=row # 使用 ROW 格式，以便记录每行数据的更改。log-bin=mysql-bin # 开启二进制日志，并设置日志文件前缀。注意，这里创建的表要有主键，不然同步的时候不能成功。创建用于同步的数据库和表。

使用flume1.9.0采集滚动日志，配置：ag1.sources = s1ag1.channels = c1ag1.sinks = k1ag1.sources.s1.type=execag1.sources.s1.command=tail -F "/home/flume/logtest/logtest-20190518.log"ag1.channels.c1.type=memo...