paimon的四种changelog模式（3）-lookup模式

请先了解input模式和none模式，然后再看lookup模式

环境创建

 CREATE CATALOG fs_catalog WITH (
    'type'='paimon',
    'warehouse'='file:/data/soft/paimon/catalog'
);

USE CATALOG fs_catalog;

drop table if exists t_changelog_lookup;
 
CREATE TABLE t_changelog_lookup (
      age BIGINT,
      money BIGINT,
      hh STRING,
      PRIMARY KEY (hh) NOT ENFORCED
)WITH (
    'merge-engine' = 'deduplicate',
    'changelog-producer' = 'lookup'
);

paimon的snapshot和checkpoint之间的关系

• 一次snapshot会产生一个data文件
• 一次checkpoint会产生1-2个snapshot文件，要看这次checkpoint是否触发compaction，触发了就是2个data文件（一个是合并后的数据，一个本次checkpoint写入数据）,否则只有一个（本次checkpoint写入数据）
• 流式写入根据checkpoint间隔，定期进行checkpoint
• 批写（手动执行sql脚本）每一个sql会立即生成一次checkpoint效果

执行一次插入操作

insert into t_changelog_lookup values(10,1000,'1');

root@wsl01:/data/soft/paimon/catalog/default.db/t_changelog_lookup/bucket-0# ll
total 8
-rw-r–r-- 1 root root 1217 Nov 27 16:26 changelog-81638785-5ddb-41ba-893d-466b4166374a-0.parq