踩坑完毕:手把手带你使用Flink尝鲜Paimon入门案例(强烈建议收藏)

本文为大家讲解如何使用Flink完成Paimon官方的入门案例,建议大家收藏(对英文文档有恐惧感)。

本文会用到Flink环境,还不清楚如何部署Flink的同学可以查看:

《基于Flink CDC实现Mysql实时同步到Doris系列教程一:Flink环境的部署》

本文演示使用的Ubuntu环境。

下载并解压Flink

下载最新版本的Flink

wget https://dlcdn.apache.org/flink/flink-1.19.1/flink-1.19.1-bin-scala_2.12.tgz

解压后会得到flink-1.19.1文件夹,并cd进入该目录。后续所有的操作都是在该目录下执行。

tar -xzf flink-1.19.1-bin-scala_2.12.tgz

cd flink-1.19.1

下载Paimon的jar包

使用Paimon需要用到paimon-flink.jarflink-shaded-hadoop-2-uber-2.8.3-10.0.jarjar包,下载与Flink相对应的版本,并复制到flink-1.19.1/lib目录下。

wget https://repository.apache.org/content/groups/snapshots/org/apache/paimon/paimon-flink-1.19/0.9-SNAPSHOT/paimon-flink-1.19-0.9-20240628.002224-23.jar
 
mv paimon-flink-1.19-0.9-20240628.002224-23.jar lib/

wget https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.8.3-10.0/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar

mv flink-shaded-hadoop-2-uber-2.8.3-10.0.jar lib/

启动Flink

在启动Flink之前,一定要注意,需要修改一个配置,不然后续会报错(非常打击士气)。

flink-1.19.1/conf/conf.yaml中找到taskmanager,修改numberOfTaskSlots配置为2,numberOfTaskSlots表示可以同时运行的任务数,也可以修改的更大一点。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值