在streampark运行paimon-flink-action-1.20.0.jar

1、上传相关jar包到streampark所在服务的 /opt/flink-1.20.0/lib

 rm -rf flink-sql-connector-mysql-cdc-3.0.1.jar  (要用3.1)

2、在streampark上配置任务

查看相关的类:

jar -tf paimon-flink-action-1.2.0.jar | grep FlinkActions
org/apache/paimon/flink/action/FlinkActions.class


上传

添加程序参数

mysql_sync_database
--warehouse s3://warehouse/wh
--database order_dw
--mysql_conf hostname=192.168.1.247
--mysql_conf port=3306
--mysql_conf username=root
--mysql_conf password=123456
--mysql_conf database-name=order_dw
--catalog_conf s3.endpoint=http://192.168.1.243:9000
--catalog_conf s3.access-key=minio
--catalog_conf s3.secret-key=minio@123
--catalog_conf s3.region=us-east-1
--catalog_conf s3.path.style.access=true
--table_conf bucket=1
--table_conf changelog-producer=input
--table_conf sink.parallelism=1

运行成功:

-----------------------

验证:

starrocks  的PAIMON原数据:

在mysql 新增数据新增数据:

INSERT INTO orders VALUES
(100011, 'user_001', 12345, 3, 3000, '2025-02-15 17:40:56', '2025-02-15 18:42:56', 1),
(100012, 'user_002', 12348, 4, 1000, '2025-02-15 18:40:56', '2025-02-15 19:42:56', 1),
(100013, 'user_003', 12348, 2, 2000, '2025-02-15 19:40:56', '2025-02-15 20:42:56', 1);
 
 
 
INSERT INTO orders_pay VALUES
(2011, 100011, 1, '2025-02-15 18:40:56'),
(2012, 100012, 1, '2025-02-15 19:40:56'),
(2013, 100013, 0, '2025-02-15 20:40:56');

在starrocks查询PAIMON的数据:


数据已同步

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值