- 博客(9)
- 收藏
- 关注
原创 flinkcdc学习(三)transform
Transform模块帮助用户根据表中的数据列进行数据列的删除和扩展。此外,它还可以帮助用户在同步过程中过滤一些不必要的数据。
2025-01-15 15:23:22
196
原创 flink学习 (二)sink
Elasticsearch Pipeline 连接器可以用作 Pipeline 的 Data Sink, 将数据写入 Elasticsearch。写入 Elasticsearch 的 index 默认为与上游表同名字符串,可以通过 pipeline 的 route 功能进行修改。StarRocks Pipeline 连接器可以用作 Pipeline 的。如果写入 Elasticsearch 的 index 不存在,不会被默认创建。Kafka Pipeline 连接器可以用作 Pipeline 的。
2025-01-10 16:46:39
1196
原创 flink1.20.0 集群安装 、flinkcdc3.2.1安装同步mysql到starrocks
需要bin目录下的stanalone-job.sh单独启动jobManager。1、上传到 /opt/ 解压、 创建软连接。2、修改config.yaml配置文件。6、修改另外两台机器的conf。3、修改master配置文件。4、修改works配置文件。9、yarn模式部署。
2024-12-27 23:09:09
478
原创 linux Apache SeaTunnel2.3.4安装教程,不要用web bug太多
5、下载好的jar包复制一份到lib 我下载的jar包在/root/.m2/repository/org/apache/seatunnel/文件夹中,估计是脚本设置的不对,不管了,拿出来用。vim bin/install-plugin.sh 把 ${SEATUNNEL_HOME}/mvnw 替换为 mvn,下载会下到conncor。web可以安装但是不要用,目前bug太多,可以尝试用海豚集成seatunnel。创建seatunnel 存放文件夹 ,进入。自己想用maven也行,下载的快一点。
2024-04-28 14:11:50
527
1
原创 SeaTunnel web 踩坑
SeaTunnel 后端文件夹中两个文件复制到web下边。设置SeaTunnel_HOME指定到后端文件夹。web端会去查询服务端的connector。1.source数据源未显示。
2024-04-19 16:16:47
1531
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人