ChunJun项目KingBase数据源连接器使用指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00098/article/details/148549626

ChunJun项目KingBase数据源连接器使用指南

chunjun ChunJun（唤醒）是一个基于 Flink 的实时数据同步工具。 - 提供实时数据同步、数据迁移和数据集成功能，支持多种数据源和数据目的。 - 特点：支持多种数据源和数据目的、高性能、可扩展、易于使用。项目地址: https://gitcode.com/gh_mirrors/ch/chunjun

一、KingBase Source简介

KingBase Source是ChunJun项目中用于连接人大金仓数据库(KingBase)的读取组件，它能够高效地从KingBase数据库中提取数据，支持全量同步和增量同步两种模式。该组件针对KingBase v8版本进行了优化适配，能够满足企业级数据同步需求。

二、核心功能特性

多模式支持：支持全表同步、条件筛选同步和自定义SQL查询
增量同步：提供基于时间戳或自增ID的增量数据捕获能力
并行读取：支持数据分片并行读取，大幅提升数据抽取效率
数据类型适配：全面支持KingBase常见数据类型

三、详细配置参数解析

1. 基础连接配置

connection：数据库连接核心配置组，包含以下子参数：

jdbcUrl：KingBase数据库连接字符串，格式为jdbc:kingbase8://host:port/database
schema：目标schema名称，默认为public
table：目标表名，目前仅支持单表配置

示例配置：

"connection": [{
   "jdbcUrl":["jdbc:kingbase8://localhost:54321/MOWEN"],
   "table": ["table"],
   "schema":"public"
}]

认证信息：

username：数据库用户名
password：相应用户的密码

2. 性能优化参数

fetchSize：控制每次从数据库读取的记录数，合理设置可避免OOM：

建议值：1000-5000之间
注意事项：需要数据库版本支持(KingBase v8+)

splitPk：并行读取时的分片键配置：

最佳实践：选择数据分布均匀的字段，通常是主键
限制：目前仅支持整型字段作为分片键

queryTimeOut：查询超时设置，大数据量查询时建议适当增大

3. 数据筛选配置

where：数据过滤条件，支持标准SQL WHERE子句语法

customSql：自定义查询SQL，可实现复杂查询逻辑：

注意事项：必须为SELECT语句，且返回字段需与column配置匹配

column：字段映射配置，支持三种格式：

通配符(*)表示所有字段
简单字段列表
带类型转换的详细字段配置

4. 增量同步配置

polling：是否开启轮询模式，用于准实时数据同步

increColumn：增量字段标识，支持字段名或字段位置索引

startLocation：增量起始位置，不配置则自动获取最大值

useMaxFunc：控制是否包含边界值，解决增量重复问题

四、SQL模式配置

ChunJun同时提供SQL接口方式操作KingBase：

CREATE TABLE kingbase_source (
    id INT,
    name STRING
) WITH (
    'connector' = 'kingbase-x',
    'url' = 'jdbc:kingbase8://localhost:54321/MOWEN',
    'table-name' = 'source_table',
    'username' = 'user',
    'password' = 'password',
    'scan.polling-interval' = '5000',
    'scan.increment.column' = 'update_time'
);

关键参数说明：

scan.partition.column：并行读取分片字段
scan.partition.strategy：分片策略，默认为range
scan.restore.columnname：检查点恢复字段

五、数据类型映射

KingBase与ChunJun类型对应关系：

| KingBase类型 | ChunJun类型 | |-------------|------------| | SMALLINT | SHORT | | INTEGER | INT | | BIGINT | LONG | | DECIMAL | DECIMAL | | VARCHAR | STRING | | TIMESTAMP | TIMESTAMP | | BOOLEAN | BOOLEAN |

注意事项：