本文为大家讲解如何使用Flink完成Paimon官方的入门案例,建议大家收藏(对英文文档有恐惧感)。
本文会用到Flink环境,还不清楚如何部署Flink的同学可以查看:
《基于Flink CDC实现Mysql实时同步到Doris系列教程一:Flink环境的部署》
本文演示使用的Ubuntu环境。
下载并解压Flink
下载最新版本的Flink
wget https://dlcdn.apache.org/flink/flink-1.19.1/flink-1.19.1-bin-scala_2.12.tgz
解压后会得到flink-1.19.1
文件夹,并cd进入该目录。后续所有的操作都是在该目录下执行。
tar -xzf flink-1.19.1-bin-scala_2.12.tgz
cd flink-1.19.1
下载Paimon的jar包
使用Paimon需要用到paimon-flink.jar
和flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
jar包,下载与Flink相对应的版本,并复制到flink-1.19.1/lib
目录下。
wget https://repository.apache.org/content/groups/snapshots/org/apache/paimon/paimon-flink-1.19/0.9-SNAPSHOT/paimon-flink-1.19-0.9-20240628.002224-23.jar
mv paimon-flink-1.19-0.9-20240628.002224-23.jar lib/
wget https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.8.3-10.0/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
mv flink-shaded-hadoop-2-uber-2.8.3-10.0.jar lib/
启动Flink
在启动Flink之前,一定要注意,需要修改一个配置,不然后续会报错(非常打击士气)。
在flink-1.19.1/conf/conf.yaml
中找到taskmanager
,修改numberOfTaskSlots
配置为2,numberOfTaskSlots表示可以同时运行的任务数,也可以修改的更大一点。