关于flink cdc 抽取oracle数据 oracle表名大小写的问题

最新推荐文章于 2025-10-22 17:18:11 发布

原创

最新推荐文章于 2025-10-22 17:18:11 发布 · 990 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#oracle #flink #数据库

在使用Flink CDC通过StreamApi从Oracle数据库抽取数据时，遇到错误提示需要添加`ALTERTABLEXXXXXADDSUPPLEMENTALLOGDATA(ALL)COLUMNS;`。为解决这个问题，您可以在配置中加入如下代码：`Properties proper = new Properties(); proper.setProperty(database.tablename.case.insensitive false); OracleSource.<String>builder().debeziumProperties(proper);`这将确保Oracle源正确处理表名大小写，并可能解决报错问题。

使用flink cdc 抽取oracle数据报错ALTER TABLE XXXXX ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;

我使用的是flink cdc的 Stream Api方式编码，报这个错需要加上配置，下面是代码

Properties proper = new Properties();
proper.setProperty("database.tablename.case.insensitive","false");
OracleSource

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

spring_itheima

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Flink CDC实时抽取 Oracle 数据实践

Auspicious航的博客

01-07

2532

Flink CDC实时抽取 Oracle 数据实践 Flink CDC 于 2021 年 11 月 15 日发布了最新版本 2.1，该版本通过引入内置 Debezium 组件，增加了对 Oracle 的支持。笔者第一时间下载了该版本进行试用并成功实现了对 Oracle 的实时数据捕获以及性能调优，现将试用过程中的一些关键细节进行分享。说明：本文力求根据实际的问题排查经验，以及内部执行原理分享一些 “干货”，所以对 Flink CDC，以及其内置的 Debezium 模块的基础使用方法并未涉及，对于基础

【大数据】Flink CDC 实时同步mysql数据

最新发布

2501_93893723的博客

10-22

448

通过Flink CDC捕获MySQL的binlog变更事件，实时写入Oracle。数据流路径： $$ \text{MySQL} \xrightarrow{\text{CDC捕获}} \text{Flink流处理引擎} \xrightarrow{\text{JDBC写入}} \text{Oracle} $$：首次启动会执行全量同步（耗时取决于数据量），后续仅同步增量变更。同步延迟通常在秒级，可通过Flink UI监控吞吐量。：将JAR包放入Flink的。

大数据技术-FlinkCDC学习笔记

xiaoyixiao_的博客

01-03

1万+

大数据技术-FlinkCDC学习笔记

Oracle怎么设置自动大写,关于Oracle 字段是大写的（设置setContainerFactory）

weixin_39939510的博客

04-10

1233

oracle默认大写。setContainerFactory(...(true))后变成小写了。则后续put字段例如 lineStyle 也会变成了 linestyle ,这样往往不符合预期，返回的JSON对象也大小写不一致；解决办法：我们只需要按照类重写 ConvertFactory 的 convertCase例如 MyOracleConvertFactory//这里判断是否全部是大写(...

oracle字段显示小写,如何让Oracle表及字段显示为区分大小写

weixin_39803207的博客

04-13

1770

说实话，笔者当初第一次接触Oracle的时候，也看着很不爽，可那会也只能无奈，因为没法解决。所以心理一直在想，如果能显示成区分大小写的该多好啊，于是我实现了心中的愿意，如下图所示：期盼已久的效果终于实现了，特别高兴，所以我要告诉大家实现原理，以期待更多像我一样追求美观的人得到一种心理安慰。实现方式：不再用PL-SQL直接建表了，而改用PD(Power Desginer)的方式建表。因为我发现不管我...

Flink CDC 系列 - 实时抽取 Oracle 数据，排雷和调优实践

YiRan_Zhao的博客

07-05

4442

bug

垃圾的flinkcdc

青春不流名

04-28

805

MySQL 默认是大小写不敏感的，使用反引号可以强制 MySQL 将表名或字段名视为区分大小写。如果不使用反引号，MySQL 将自动将表名和字段名转换为小写。: 使用反引号可以避免使用MySQL的保留字和关键字作为表名或字段名时产生的冲突。比如，你可以创建一个名为。虽然使用反引号有一定的好处，但过度使用也会增加代码的复杂性，一般来说，只有在必要的情况下才使用反引号。都将被视为大小写敏感的，而不会被转换为小写。

mysql binlog 表字段名_MySQL binlog 表名大小写 产生的kafka动态匹配规则错误

weixin_39594103的博客

01-21

347

environmentcanal version 1.1.3mysql version 5.7Issue Description在集成kafka的情况下，canal在拉取到binlog之后，匹配topic的时候，如果topic字母相同但大小写不同会引发kafka的日志恢复并resize，报错如下：(之前已有一个topic：redis_cachecloud_QRTZ_FIRED_TRIGGER...

sql 忽略大小写_Flink使用Calcite解析Sql做维表关联(一)

weixin_39581716的博客

12-09

1065

点击箭头处“蓝色字”，关注我们哦！！维表关联是离线计算或者实时计算里面常见的一种处理逻辑，常常用于字段补齐、规则过滤等，一般情况下维表数据放在MySql等数据库里面，对于离线计算直接通过ETL方式加载到Hive表中，然后通过sql方式关联查询即可，但是对于实时计算中Flink、SparkStreaming的表都是抽象的、虚拟的表，那么就没法使用加载方式完成。透过维表服务系列里面讲到的维表...

Elasticsearch Logstash Jdbc input plugin 同步数据库 列名自动转小写问题

scl的博客

12-19

1291

问题描述：使用 Logstash Jdbc plugin 同步 mysql 数据库数据到 Elasticsearch 时，列名总是自动转成小写，想要和项目的实体类属性驼峰写法对应上。官方文档： https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html#plugins-inputs-jdbc-opt...

Flink 的序列化如何做

weixin_59295776的博客

12-18

1403

Java本身自带的序列化和反序列化的功能，但是辅助信息占用空间比较大，在序列化对象时记录了过多的类信息。Apache Flink摒弃了Java原生的序列化方法，以独特的方式处理数据类型和序列化，包含自己的类型描述符，泛型类型提取和类型序列化框架。TypeInformation 是所有类型描述符的基类。它揭示了该类型的一些基本属性，并且可以生成序列化器。TypeInformation 支持以下几种类型： BasicTypeInfo: 任意Java 基本类型或 String 类型 BasicArrayType

【Flink】FlinkSQL代码格式问题

克里斯的博客

03-27

1565

发现问题执行以下SQL查询：报错，第54行出现问题：分析问题 1、一开始以为是字母没有大写的问题，于是将所有关键字都改为大写，但仍然报同样的错误。 2、检查SQL语句的语法，也没有问题，标点符号也都没有问题 3、将分段多句写为一句，终于发现问题了，原因是“from table”前面没有空格，这是由于换行导致的疏忽。总结 1、避免SQL语句冗长，通常会采用分段编写的格式，但要注意标点符号和空格。 2、关键字的大小写并不会导致错误，也不会影响结果，例如group by和GR

FLINK 读取ORACLE数据-通过JDBC方式

jzy1210的专栏

08-19

6291

package quickstart.batch; import org.apache.flink.api.common.typeinfo.BasicTypeInfo; import org.apache.flink.api.java.DataSet; import org.apache.flink.api.java.ExecutionEnvironment; import org.apache.flink.api.java.io.jdbc.JDBCInputFormat; import org.apa.

Hive/Spark 整库导出/导入脚本

Laurence的技术博客

08-21

804

1. 整库导出为一个SQL文件 database="<your-database-name>" cat << EOF > $database.sql drop database if exists $database cascade; create database if not exists $database; use $database; EOF for table in $(beeline -n hadoop -u jdbc:hive2:// --showHeade

Flink SQL系列之：基于Flink SQL查询Topic中序列化的Debezium数据格式字段

zhengzaifeidelushang的博客

04-03

547

Flink SQL系列之：基于Flink SQL查询Topic中序列化的Debezium数据格式字段

记一次模糊查询踩坑 Flink+ES

qq_40957094的博客

12-08

1461

对商品名称进行模糊模糊查询，考虑到商品表存量数据千万级，直接数据库模糊查询效率肯定极其低下，所以选择使用对商品信息进行模糊查询。因为需要代替原有的查询接口，保持原有查询接口的入参出参，所以需要全量+增量同步MySQL数据到ES进行索引创建。方案选择使用Flink进行全量+增量同步。原有方案是通过订阅Kafka的topic(现成的，结合debezium监听binlog日志)+Flink CDC 实现，但是这只能针对增量数据进行监听。

flink cdc 实时同步oracle数据doris ，oracle数据时刻在变化

09-06

虽然提供的引用主要涉及Flink CDC同步MySQL数据到Doris，但可基于通用的Flink CDC同步思路来构建同步Oracle数据到Doris的解决方案。 ### 环境准备首先需要部署好Doris和Flink环境。同时要获取必要的jar包，对于Oracle和Doris的连接，可能需要 `flink-sql-connector-oracle-cdc` 相关版本的jar包用于连接Oracle数据库获取实时变化数据，以及 `flink-doris-connector` 相关版本的jar包用于将数据写入Doris。例如可以参考类似的版本选择，可能需要使用如 `flink-sql-connector-oracle-cdc-3.0.0.jar` 和 `flink-doris-connector-1.19-1.6.0.jar` （具体版本需根据实际环境适配） [^1]。 ### 配置连接器将上述获取的两个jar包放到Flink CDC的lib目录下，例如对于 `flink-cdc-3.0.0` ，把 `flink-sql-connector-oracle-cdc-3.0.0.jar` 和 `flink-doris-connector-1.19-1.6.0.jar` 放到 `flink-cdc-3.0.0/lib` 目录 [^1][^3]。 ### 编写Flink SQL 在Flink SQL中定义源表和目标表。 ```sql -- 定义Oracle源表 CREATE TABLE oracle_source_table ( -- 定义表中的字段，根据实际Oracle表结构来 id INT, name STRING, -- 其他字段... ) WITH ( 'connector' = 'oracle-cdc', 'hostname' = 'your_oracle_host', 'port' = 'your_oracle_port', 'username' = 'your_oracle_username', 'password' = 'your_oracle_password', 'database-name' = 'your_oracle_database', 'schema-name' = 'your_oracle_schema', 'table-name' = 'your_oracle_table' ); -- 定义Doris目标表 CREATE TABLE doris_sink_table ( id INT, name STRING, -- 其他字段... ) WITH ( 'connector' = 'doris', 'fenodes' = 'your_doris_fenodes', 'table.identifier' = 'your_doris_database.your_doris_table', 'username' = 'your_doris_username', 'password' = 'your_doris_password' ); -- 插入数据 INSERT INTO doris_sink_table SELECT * FROM oracle_source_table; ``` ### 提交任务提交上述Flink SQL任务，确保在提交任务前，`flink-cdc` 对应版本的lib目录下有正确的连接器。例如如果是 `flink-cdc-3.1.0` ，要确保 `flink-cdc-3.1.0/lib` 目录下有对应的 `flink-cdc-pipeline-connector-oracle` 和 `flink-cdc-pipeline-connector-doris` 版本的jar包（版本需根据实际情况适配） [^2]。 ### 监控对同步任务进行监控，观察是否有数据正常同步，以及是否有报错信息等。

关于flink cdc 抽取oracle数据 oracle表名大小写的问题

使用flink cdc 抽取oracle数据 报错ALTER TABLE XXXXX ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;

使用flink cdc 抽取oracle数据报错ALTER TABLE XXXXX ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;