ChunJun项目Oracle数据源连接器使用指南

ChunJun项目Oracle数据源连接器使用指南

chunjun ChunJun（唤醒）是一个基于 Flink 的实时数据同步工具。 - 提供实时数据同步、数据迁移和数据集成功能，支持多种数据源和数据目的。 - 特点：支持多种数据源和数据目的、高性能、可扩展、易于使用。 项目地址: https://gitcode.com/gh_mirrors/ch/chunjun

一、概述

Oracle作为企业级关系型数据库的代表，在众多业务系统中扮演着重要角色。ChunJun项目提供了Oracle数据源连接器，支持从Oracle 9及以上版本高效稳定地读取数据。本文将详细介绍该连接器的使用方法和最佳实践。

二、连接器类型

ChunJun提供了两种方式操作Oracle数据源：

1. Sync模式：通过配置方式实现数据同步

   • 插件名称：oraclesource、oraclereader

2. SQL模式：通过SQL语句操作数据

   • 插件名称：oracle-x

三、核心参数详解

1. 基础连接配置

jdbcUrl：Oracle数据库连接字符串，格式为：

jdbc:oracle:thin:@[host]:[port]:[SID]

username/password：数据库认证凭据，建议通过安全方式管理

schema：指定数据库schema，默认为用户名

table：要读取的表名，目前仅支持单表读取

2. 性能优化参数

fetchSize：控制每次从数据库读取的记录数

• 默认值1024
• 过小会导致频繁I/O操作
• 过大可能引发OOM

splitPk：并行读取切分字段

• 建议使用主键字段
• 仅支持整型字段
• 并发数(channel)>1时必须配置

queryTimeOut：查询超时时间(秒)

• 大数据量查询时需适当调大
• 默认1000秒

3. 增量同步配置

polling：是否开启轮询模式

• 适用于准实时数据同步场景

pollingInterval：轮询间隔(毫秒)

• 默认5000毫秒

increColumn：增量字段

• 可指定字段名或字段索引(从0开始)

startLocation：增量起始位置

• 不指定则从当前最大值开始

四、高级功能

1. 自定义SQL查询

通过customSql参数可实现复杂查询：

"customSql": "SELECT a.id, a.name, b.department FROM user a JOIN dept b ON a.dept_id = b.id"

注意事项：

• 必须为SELECT语句
• 返回字段需与column配置匹配
• 使用时会忽略table配置

2. 字段映射配置

column参数支持三种格式：

1. 全字段读取：["*"]
2. 指定字段名：["id","name"]
3. 详细字段配置：

{
  "name": "create_time",
  "type": "timestamp",
  "format": "yyyy-MM-dd HH:mm:ss"
}

特殊功能：

• 类型转换：可将源字段转为目标类型
• 默认值：当字段为null时使用value值
• 常量字段：添加不存在于源表的常量列

五、数据类型支持

支持的主要类型

| 数字类型 | 字符类型 | 日期时间类型 | 二进制类型 | |---------|---------|-------------|-----------| | SMALLINT | CHAR | DATE | RAW | | INTEGER | VARCHAR | TIMESTAMP | LONG RAW | | NUMBER | VARCHAR2 | TIMESTAMP WITH TIME ZONE | BLOB(Sync) | | DECIMAL | NCHAR | INTERVAL YEAR | CLOB(Sync) | | FLOAT | NVARCHAR2 | INTERVAL DAY | NCLOB(Sync) |

类型转换注意事项

1. Decimal类型转换时可能丢失精度
2. BFILE、XMLTYPE等特殊类型不支持
3. 二进制大对象仅在Sync模式下支持

六、最佳实践

1. 全量同步配置示例

{
  "job": {
    "content": [{
      "reader": {
        "name": "oraclereader",
        "parameter": {
          "username": "user",
          "password": "password",
          "column": ["*"],
          "connection": [{
            "jdbcUrl": ["jdbc:oracle:thin:@127.0.0.1:1521:ORCL"],
            "table": ["EMPLOYEES"]
          }],
          "fetchSize": 2048
        }
      }
    }]
  }
}

2. 增量同步配置示例

{
  "polling": true,
  "pollingInterval": 3000,
  "increColumn": "update_time",
  "startLocation": "2023-01-01 00:00:00"
}

3. 并行读取配置

{
  "speed": {
    "channel": 4
  },
  "splitPk": "employee_id"
}

七、常见问题处理

1. 连接超时：适当增大queryTimeOut参数
2. 内存溢出：减小fetchSize值
3. 增量数据重复：设置useMaxFunc为true
4. 并行读取不均：确保splitPk字段分布均匀

通过合理配置这些参数，可以充分发挥ChunJun Oracle连接器的性能，满足不同场景下的数据同步需求。

chunjun ChunJun（唤醒）是一个基于 Flink 的实时数据同步工具。 - 提供实时数据同步、数据迁移和数据集成功能，支持多种数据源和数据目的。 - 特点：支持多种数据源和数据目的、高性能、可扩展、易于使用。 项目地址: https://gitcode.com/gh_mirrors/ch/chunjun