实践数据湖iceberg 第四十一课测试维表更新场景

本文详述了在Flink SQL中测试维表（如MySQL表）更新的场景，包括不同checkpoint策略、lookup join的正确配置与语法，以及数据湖表（如Iceberg）作为驱动表时的proctime属性测试。测试结论表明，使用lookup join能感知到维表的变化。

系列文章目录

文章目录

系列文章目录
前言
一、测试场景描述
二、测试flink维表新增数据的影响
三、 lookup表与非look up维表的在dag上的不同
- 1.look up 表是产生一个source任务
- 2. 非look up 表
四、数据湖表能否作为驱动表，增加 proctime as PROCTIME() 属性？
五.维表作为 view进行测试
- 5.1.维表需要经过加工得到，经过测试，不支持 (select * from dim_product where match=1 类似这种语法构建维表)
- 5.2 测试基于view实现
总结

前言

flink sql 中kafka 表join mysql表，发现无法检测到mysql表到新增、update, 百度多篇文章，写得好像可以解决问题，但又没有详细的解决方法步骤，故而写本人，期后来者以填坑。本文记录测试思路、流程与结论。
测试结论：1.kaka做为驱动表源，可以通过lookup的方式，感知mysql维表的变化 2.iceberg表可以使用lookup方式，感知mysql维表的变化

一、测试场景描述

测试目的： 测试flink维表新增数据的影响
测试场景： 维度退化
kafka流读mysql维表，关联mysql维表信息, 对维表进行新增，观察flink是否能发现新增的维表信息。

构造测试场景：

kafka表: 用户ID,产品id
产品维表：产品id, 产品名称
sql查询：用户ID，产品id, 产品名称

测试mysql中增加维度信息，kafka表能否关联上。

二、测试flink维表新增数据的影响

2.1 execution.checkpointing.checkpoints-after-tasks-finish.enabled: true 进行测试

测试代码如下：


create table t_order(
    user_id int,
    product_id int
) WITH (
      'connector' = 'kafka',
      'topic' = 't_order',
      'properties.bootstrap.servers' = 'hadoop201:9092,hadoop203:9092,hadoop204:9092',
      'properties.group.id' = 'sourceGroup6',
      'scan.startup.mode' = 'earliest-offset',
      'csv.field-delimiter' =',',
      'csv.ignore-parse-errors' = 'true',
      'format' = 'csv'
);

create table dim_product(
    product_id int,
    product_name varchar(30),
    PRIMARY KEY(product_id) NOT ENFORCED
 ) with(
 'connector' = 'jdbc',
 'url' = 'jdbc:mysql://hadoop201:3306/db_xxzh',
 'username' = 'db_xxzh',
 'password' = '123456',
 'table-name' = 'dim_product',
  'lookup.cache.ttl'='120s',
  'lookup.cache.max-rows' = '1000000'
 );




CREATE TABLE print_table (
  user_id int,
  product_id int,
  product_name varchar(30)
) WITH (
      'connector' = 'print'
);

insert into print_table
    select user_id,t.product_id,product_name from t_order  t left join dim_product for system_time as of t.proctime AS d   on t.product_id=d.product_id;

Checkpoints With Finished Tasks 的介绍：
https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=184615159

Checkpoints With Finished Tasks 开启：
${FLINK_HOME}/conf/flink-conf.yaml 配置
execution.checkpointing.checkpoints-after-tasks-finish.enabled: true

测试流程记录：

kafka生成：

1,1
1,3

查看flink的日志：

+I[1, 1, productNam101]
+I[1, 3, null]

数据库中增加一条3:
mysql> insert into dim_product values(3,‘productName03’);
Query OK, 1 row affected (0.01 sec)

kafka生产：
1,3

日志结果：
+I[5, 3, null]

结果： 维度表的新数据，没有被查询到！

2.2 同样的场景测试 execution.checkpointing.checkpoints-after-tasks-finish.enabled: false

kafka生产：

6,6

结果：

+I[6, 6, null]

mysql增加6的维度
kafka生产：

7,6

结果如下：

+I[7, 6, null]

测试结果：维度表的新数据，没有被查询到！

2.3 把mysql维表改为lookup表，直接join

百度一些文章，说可以用lookup 表来感知mysql表的变化，测试一下：

本人使用flink1.14版本，lookup 只需要增加如下属性。（不同版本，属性不一样）
增加如下两个属性
‘lookup.cache.ttl’=‘120s’,
‘lookup.cache.max-rows’ = ‘1000000’
···

create table dim_product(
product_id int,
product_name varchar(30),
PRIMARY KEY(product_id) NOT ENFORCED
) with(
‘connector’ = ‘jdbc’,
‘url’ = ‘jdbc:mysql://hadoop201:3306/db_xxzh’,
‘username’ = ‘db_xxzh’,
‘password’ = ‘123456’,
‘table-name’ = ‘dim_product’,
‘lookup.cache.ttl’=‘120s’,
‘lookup.cache.max-rows’ = ‘1000000’
);
重复以上测试，结果没什么区别。

···

2.4 使用lookup join 正确的语法，感知维表到变化

mysql表到数据：

在这里插入图片描述
kafka输入：

1,3
3,9

观察flink结果如下；

+I[1, 3, productName03]
+I[3, 9, null]

往mysql增加一条数据：

 mysql> insert into dim_product values(9,'productName09');
Query OK, 1 row affected (0.01 sec)

kafka生产

4,9

观察结果：

+I[4, 9, productName09]

测试结论：使用lookup up表，并且使用正确的lookup 的select 语法，才能产生loop up的效果

2.5 looup up 表正确的语法

步骤2.4 中的测试代码如下：


create table t_order(
    user_id int,
    product_id int,
    proctime as PROCTIME()
) WITH (
      'connector' = 'kafka',
      'topic' = 't_order',
      'properties.bootstrap.servers' = 'hadoop201:9092,hadoop203:9092,hadoop204:9092',
      'properties.group.id' = 'sourceGroup6',
      'scan.startup.mode' = 'earliest-offset',
      'csv.field-delimiter' =',',
      'csv.ignore-parse-errors' = 'true',
      'format' = 'csv'
);

create table dim_product(
    product_id int,
    product_name varchar(30),
    PRIMARY KEY(product_id) NOT ENFORCED
 ) with(
 'connector' = 'jdbc',
 'url' = 'jdbc:mysql://hadoop201:3306/db_xxzh',
 'username' = 'db_xxzh',
 'password' = '123456',
 'table-name' = 'dim_product',
  'lookup.cache.ttl'='120s',
  'lookup.cache.max-rows' = '1000000'
 );




CREATE TABLE print_table (
  user_id int,
  product_id int,
  product_name varchar(30)
) WITH (
      'connector' = 'print'
);

insert into print_table
    select user_id,t.product_id,product_name from t_order  t left join dim_product for system_time as of t.proctime AS d   on t.product_id=d.product_id;

代码特点：

驱动表增加 proctime as PROCTIME() 属性
维表增加 ‘lookup.cache.ttl’=‘120s’,
‘lookup.cache.max-rows’ = ‘1000000’ 的定义。
insert 语句中，需要在维表后面增加 for system_time as of t.proctime AS 。

本解决方案来源于：源码的lookup test case. 具体名称：LookupJoinJsonPlanITCase。

测试维表数据更新的，look up 表是否能感知到

在这里插入图片描述

测试结果

+I[11, 9, ????09]。   9的productName是产品名称09， 中文乱码
+I[2, 9, ????09]。    把9productName改为newProductName09, 立即往kafka发数据,说明缓存起作用

过2分钟再往kafka发送，结果如下

+I[3, 9, newProductName09]

测试结果：说明缓存失效，重新发起查询数据

三、 lookup表与非look up维表的在dag上的不同

1.look up 表是产生一个source任务

在这里插入图片描述

2. 非look up 表

在这里插入图片描述
维表的任务状态是fininshed.

四、数据湖表能否作为驱动表，增加 proctime as PROCTIME() 属性？

测试目的：驱动表是数据湖表，能否join mysql 并感知数据的变化。
测试思路：把kafka表转为iceberg表，再使用iceberg表join 维表进行测试。

4.1 测试步骤1：构建一个带proctime的iceberg表, 失败

在这里插入图片描述
没有这个proctime属性，无法使用look up 功能。。。

4.2 动态构建proctime属性

insert into print_table
    select user_id,t.product_id,product_name
    from 
    (select *,    proctime() as proctime from hive_iceberg_catalog.ods_base.t_order_ib    
     /*+ OPTIONS('streaming'='true', 'monitor-interval'='10s')*/ )  t 
    left join dim_product for system_time as of t.proctime AS d   on t.product_id=d.product_id;

proctime() 是flink的一个内部函数，可以直接调用这个function，生产当前时间。

4.3 FOR SYSTEM_TIME AS OF table1.proctime 语法介绍

目前，仅支持INNER JOIN与LEFT JOIN。在join的时候需要使用 FOR SYSTEM_TIME AS OF ，其中table1.proctime表示table1的proctime处理时间属性(计算列)。使用FOR SYSTEM_TIME AS OF table1.proctime表示当左边表的记录与右边的维表join时，只匹配当前处理时间维表所对应的的快照数据。

五.维表作为 view进行测试

5.1.维表需要经过加工得到，经过测试，不支持 (select * from dim_product where match=1 类似这种语法构建维表)

5.2 测试基于view实现

创建一个view的维表：
create view if not exists v_dim_product as select * from dim_product where match_flag=1;

测试是否支持，发现不支持。

Flink SQL> insert into print_table
>     select user_id,t.product_id,product_name
>     from 
>     (select *,    proctime() as proctime from hive_iceberg_catalog.ods_base.t_order_ib     /*+ OPTIONS('streaming'='true', 'monitor-interval'='10s')*/ )  t 
>     left join  hive_catalog.mysql.v_dim_product for system_time as of t.proctime AS d   on t.product_id=d.product_id;
> 
[INFO] Submitting SQL update statement to the cluster...
[ERROR] Could not execute SQL statement. Reason:
org.apache.flink.table.planner.codegen.CodeGenException: Unsupported call: __TEMPORAL_JOIN_CONDITION_PRIMARY_KEY(INT NOT NULL) 
If you think this function should be supported, you can create an issue and start a discussion for it.