DTStack ChunJun项目Greenplum数据源连接器详解

DTStack ChunJun项目Greenplum数据源连接器详解

chunjun ChunJun（唤醒）是一个基于 Flink 的实时数据同步工具。 - 提供实时数据同步、数据迁移和数据集成功能，支持多种数据源和数据目的。 - 特点：支持多种数据源和数据目的、高性能、可扩展、易于使用。 项目地址: https://gitcode.com/gh_mirrors/ch/chunjun

一、Greenplum数据源连接器概述

Greenplum作为一款基于PostgreSQL的分布式数据库，在大数据分析领域有着广泛应用。DTStack ChunJun项目提供的Greenplum数据源连接器，能够高效地从Greenplum数据库中读取数据，支持离线全量读取和实时增量轮询两种模式。

二、版本兼容性

该连接器支持Greenplum 5及以上版本，能够兼容Greenplum的大多数特性和数据类型。

三、连接器类型

ChunJun提供了两种使用方式：

1. Sync模式：

   • greenplumsource
   • greenplumreader

2. SQL模式：

   • greenplum-x

四、核心参数详解

1. 基础连接配置

jdbcUrl：连接字符串，格式为jdbc:pivotal:greenplum://host:port;DatabaseName=dbname。这是建立与Greenplum连接的基础。

username/password：数据库认证凭据，需要具有相应表的读取权限。

schema：指定数据库schema，默认为public。

table：要读取的表名，目前仅支持单表读取。

2. 性能优化参数

fetchSize：控制每次从数据库读取的记录数。合理设置可避免内存溢出(OOM)，建议值在1000-5000之间，根据数据行大小调整。

splitPk：当并行度(channel)大于1时，需指定此参数作为数据分片键。最佳实践是选择分布均匀的主键字段。

queryTimeOut：查询超时时间，大数据量查询或复杂视图查询时应适当增大此值。

3. 数据过滤与自定义查询

where：支持SQL WHERE子句进行数据过滤，如gmt_create > '2023-01-01'。

customSql：支持完全自定义的查询语句，适合复杂查询场景。使用时需注意：

• 必须是SELECT语句
• 返回字段需与column配置匹配
• 不能使用*通配符

4. 增量轮询配置

polling：开启间隔轮询模式，实现准实时数据同步。

pollingInterval：轮询间隔(毫秒)，默认5000ms(5秒)。

increColumn：指定增量字段，可以是字段名或字段索引位置。

startLocation：增量起始位置，不指定则自动获取当前最大值。

useMaxFunc：控制是否包含边界数据，解决数据重复问题。

五、SQL模式特有参数

scan.polling-interval：间隔轮询时间，不填则为离线任务。

scan.parallelism：设置读取并行度，提升吞吐量。

scan.partition.column/strategy：并行读取时的数据分片策略，支持range等算法。

scan.increment相关参数：增量同步配置，支持从检查点(checkpoint)恢复。

六、数据类型支持情况

Greenplum连接器支持绝大多数常用数据类型：

• 数值类型：SMALLINT、INT、BIGINT等
• 浮点类型：REAL、DOUBLE PRECISION等
• 字符类型：VARCHAR、TEXT等
• 日期时间：TIMESTAMP、DATE等
• 布尔类型：BOOLEAN

不支持复杂类型如ARRAY等。

七、最佳实践建议

1. 增量同步配置：

{
  "polling": true,
  "pollingInterval": 3000,
  "increColumn": "update_time",
  "startLocation": "2023-01-01 00:00:00"
}

2. 大表并行读取：

{
  "splitPk": "id",
  "channel": 4,
  "fetchSize": 2000
}

3. 自定义SQL示例：

{
  "customSql": "SELECT id, name, amount FROM orders WHERE status = 'completed'",
  "column": ["id", "name", "amount"]
}

八、常见问题处理

1. OOM问题：减小fetchSize值，增加并行度。

2. 增量数据重复：设置useMaxFunc为true。

3. 查询超时：增大queryTimeOut值，优化查询语句。

4. 并行度不生效：确保正确配置了splitPk参数。

通过合理配置这些参数，可以充分发挥ChunJun Greenplum连接器的性能，实现高效稳定的数据同步。

chunjun ChunJun（唤醒）是一个基于 Flink 的实时数据同步工具。 - 提供实时数据同步、数据迁移和数据集成功能，支持多种数据源和数据目的。 - 特点：支持多种数据源和数据目的、高性能、可扩展、易于使用。 项目地址: https://gitcode.com/gh_mirrors/ch/chunjun