关于flink cdc 抽取oracle数据 oracle表名大小写的问题

最新推荐文章于 2025-10-22 17:18:11 发布
原创 最新推荐文章于 2025-10-22 17:18:11 发布 · 990 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#oracle #flink #数据库

在使用Flink CDC通过StreamApi从Oracle数据库抽取数据时，遇到错误提示需要添加`ALTERTABLEXXXXXADDSUPPLEMENTALLOGDATA(ALL)COLUMNS;`。为解决这个问题，您可以在配置中加入如下代码：`Properties proper = new Properties(); proper.setProperty(database.tablename.case.insensitive false); OracleSource.<String>builder().debeziumProperties(proper);`这将确保Oracle源正确处理表名大小写，并可能解决报错问题。

使用flink cdc 抽取oracle数据 报错ALTER TABLE XXXXX ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;

我使用的是flink cdc的 Stream Api方式编码，报这个错需要加上配置，下面是代码

Properties proper = new Properties();
proper.setProperty("database.tablename.case.insensitive","false");
OracleSource
最低0.47元/天 解锁文章
spring_itheima
关注
Flink CDC实时抽取 Oracle 数据实践
Auspicious航的博客
01-07 2532
Flink CDC实时抽取 Oracle 数据实践 Flink CDC 于 2021 年 11 月 15 日发布了最新版本 2.1，该版本通过引入内置 Debezium 组件，增加了对 Oracle 的支持。笔者第一时间下载了该版本进行试用并成功实现了对 Oracle 的实时数据捕获以及性能调优，现将试用过程中的一些关键细节进行分享。 说明：本文力求根据实际的问题排查经验，以及内部执行原理分享一些 “干货”，所以对 Flink CDC，以及其内置的 Debezium 模块的基础使用方法并未涉及，对于基础
【大数据】Flink CDC 实时同步mysql数据
热门推荐
congge
10-07 1万+
Flink CDC 实时同步mysql数据
【现场问题】flink-cdc，Oracle2Mysql的坑，Oracle区分大小写导致
吃素的哈士奇de博客
07-04 1333
每次数据都是null,然后我们的sink（t_wx_target ）表里面的字段id，是非空字段，所以就报错了。大致意思就是不能插入为空的数值。
Oracle怎么设置自动大写,关于Oracle 字段是大写的（设置setContainerFactory）
weixin_39939510的博客
04-10 1233
oracle默认大写。setContainerFactory(...(true))后变成小写了。则后续put字段例如 lineStyle 也会变成了 linestyle ,这样往往不符合预期，返回的JSON对象也大小写不一致；解决办法：我们只需要按照类重写 ConvertFactory 的 convertCase例如 MyOracleConvertFactory//这里判断是否全部是大写(...
‌10分钟搞定Flink CDC：MySQL到Oracle实时同步流程详解
最新发布
2501_93893723的博客
10-22 448
通过Flink CDC捕获MySQL的binlog变更事件，实时写入Oracle。数据流路径： $$ \text{MySQL} \xrightarrow{\text{CDC捕获}} \text{Flink流处理引擎} \xrightarrow{\text{JDBC写入}} \text{Oracle} $$：首次启动会执行全量同步（耗时取决于数据量），后续仅同步增量变更。同步延迟通常在秒级，可通过Flink UI监控吞吐量。： 将JAR包放入Flink的。
flink oracle cdc sql方式读取表，读不出数据问题
YiRan_Zhao的博客
03-27 951
采坑
oracle字段显示小写,如何让Oracle表及字段显示为区分大小写
weixin_39803207的博客
04-13 1770
说实话，笔者当初第一次接触Oracle的时候，也看着很不爽，可那会也只能无奈，因为没法解决。所以心理一直在想，如果能显示成区分大小写的该多好啊，于是我实现了心中的愿意，如下图所示：期盼已久的效果终于实现了，特别高兴，所以我要告诉大家实现原理，以期待更多像我一样追求美观的人得到一种心理安慰。实现方式：不再用PL-SQL直接建表了，而改用PD(Power Desginer)的方式建表。因为我发现不管我...
垃圾的flinkcdc
青春不流名
04-28 805
MySQL 默认是大小写不敏感的，使用反引号可以强制 MySQL 将表名或字段名视为区分大小写。如果不使用反引号，MySQL 将自动将表名和字段名转换为小写。: 使用反引号可以避免使用MySQL的保留字和关键字作为表名或字段名时产生的冲突。比如，你可以创建一个名为。虽然使用反引号有一定的好处，但过度使用也会增加代码的复杂性，一般来说，只有在必要的情况下才使用反引号。都将被视为大小写敏感的，而不会被转换为小写。
Flink CDC 系列 - 实时抽取 Oracle 数据，排雷和调优实践
YiRan_Zhao的博客
07-05 4442
bug
mysql binlog 表字段名_MySQL binlog 表名大小写 产生的kafka动态匹配规则错误
weixin_39594103的博客
01-21 347
environmentcanal version 1.1.3mysql version 5.7Issue Description在集成kafka的情况下，canal在拉取到binlog之后，匹配topic的时候，如果topic字母相同但大小写不同会引发kafka的日志恢复并resize，报错如下：(之前已有一个topic：redis_cachecloud_QRTZ_FIRED_TRIGGER...
sql 忽略大小写_Flink使用Calcite解析Sql做维表关联(一)
weixin_39581716的博客
12-09 1065
点击箭头处“蓝色字”，关注我们哦！！维表关联是离线计算或者实时计算里面常见的一种处理逻辑，常常用于字段补齐、规则过滤等，一般情况下维表数据放在MySql等数据库里面，对于离线计算直接通过ETL方式加载到Hive表中，然后通过sql方式关联查询即可，但是对于实时计算中Flink、SparkStreaming的表都是抽象的、虚拟的表，那么就没法使用加载方式完成。透过维表服务系列里面讲到的维表...
Elasticsearch Logstash Jdbc input plugin 同步数据库 列名自动转小写问题
scl的博客
12-19 1291
问题描述： 使用 Logstash Jdbc plugin 同步 mysql 数据库数据到 Elasticsearch 时，列名总是自动转成小写，想要和项目的实体类属性驼峰写法对应上。 官方文档： https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html#plugins-inputs-jdbc-opt...
Flink 的序列化如何做
weixin_59295776的博客
12-18 1403
Java本身自带的序列化和反序列化的功能，但是辅助信息占用空间比较大，在序列化对象时记录了过多的类信息。Apache Flink摒弃了Java原生的序列化方法，以独特的方式处理数据类型和序列化，包含自己的类型描述符，泛型类型提取和类型序列化框架。TypeInformation 是所有类型描述符的基类。它揭示了该类型的一些基本属性，并且可以生成序列化器。TypeInformation 支持以下几种类型： BasicTypeInfo: 任意Java 基本类型或 String 类型 BasicArrayType
【Flink】FlinkSQL代码格式问题
克里斯的博客
03-27 1565
发现问题 执行以下SQL查询： 报错，第54行出现问题： 分析问题 1、一开始以为是字母没有大写的问题，于是将所有关键字都改为大写，但仍然报同样的错误。 2、检查SQL语句的语法，也没有问题，标点符号也都没有问题 3、将分段多句写为一句，终于发现问题了，原因是“from table”前面没有空格，这是由于换行导致的疏忽。 总结 1、避免SQL语句冗长，通常会采用分段编写的格式，但要注意标点符号和空格。 2、关键字的大小写并不会导致错误，也不会影响结果，例如group by和GR
FLINK 读取ORACLE数据-通过JDBC方式
jzy1210的专栏
08-19 6291
package quickstart.batch; import org.apache.flink.api.common.typeinfo.BasicTypeInfo; import org.apache.flink.api.java.DataSet; import org.apache.flink.api.java.ExecutionEnvironment; import org.apache.flink.api.java.io.jdbc.JDBCInputFormat; import org.apa.
Hive/Spark 整库导出/导入脚本
Laurence的技术博客
08-21 804
1. 整库导出为一个SQL文件 database="<your-database-name>" cat << EOF > $database.sql drop database if exists $database cascade; create database if not exists $database; use $database; EOF for table in $(beeline -n hadoop -u jdbc:hive2:// --showHeade
Flink SQL系列之：基于Flink SQL查询Topic中序列化的Debezium数据格式字段
zhengzaifeidelushang的博客
04-03 547
Flink SQL系列之：基于Flink SQL查询Topic中序列化的Debezium数据格式字段
记一次模糊查询踩坑 Flink+ES
qq_40957094的博客
12-08 1461
对商品名称进行模糊模糊查询，考虑到商品表存量数据千万级，直接数据库模糊查询效率肯定极其低下，所以选择使用对商品信息进行模糊查询。因为需要代替原有的查询接口，保持原有查询接口的入参出参，所以需要全量+增量同步MySQL数据到ES进行索引创建。方案选择使用Flink进行全量+增量同步。原有方案是通过订阅Kafka的topic(现成的，结合debezium监听binlog日志)+Flink CDC 实现，但是这只能针对增量数据进行监听。
flink - debezium 采集pg库表日期数据（字段类型：date/varchar）踩坑笔记
a123147abc的博客
02-09 2047
debezium 采集pg库表日期数据（字段类型：date/varchar） 表结构1 ： CREATE TABLE date_test ( whole_date varchar(255) NOT NULL, simple_date int4 NULL, cn_date varchar(255) NULL, year_month varchar(255) NULL, year_week varchar(255) NULL ) 表结构2 ： CREATE TABLE date_test ( wh
flink cdc 实时同步oracle数据doris ，oracle数据时刻在变化
09-06
虽然提供的引用主要涉及Flink CDC同步MySQL数据到Doris，但可基于通用的Flink CDC同步思路来构建同步Oracle数据到Doris的解决方案。 ### 环境准备 首先需要部署好Doris和Flink环境。同时要获取必要的jar包，对于Oracle和Doris的连接，可能需要 `flink-sql-connector-oracle-cdc` 相关版本的jar包用于连接Oracle数据库获取实时变化数据，以及 `flink-doris-connector` 相关版本的jar包用于将数据写入Doris。例如可以参考类似的版本选择，可能需要使用如 `flink-sql-connector-oracle-cdc-3.0.0.jar` 和 `flink-doris-connector-1.19-1.6.0.jar` （具体版本需根据实际环境适配） [^1]。 ### 配置连接器 将上述获取的两个jar包放到Flink CDC的lib目录下，例如对于 `flink-cdc-3.0.0` ，把 `flink-sql-connector-oracle-cdc-3.0.0.jar` 和 `flink-doris-connector-1.19-1.6.0.jar` 放到 `flink-cdc-3.0.0/lib` 目录 [^1][^3]。 ### 编写Flink SQL 在Flink SQL中定义源表和目标表。 ```sql -- 定义Oracle源表 CREATE TABLE oracle_source_table ( -- 定义表中的字段，根据实际Oracle表结构来 id INT, name STRING, -- 其他字段... ) WITH ( 'connector' = 'oracle-cdc', 'hostname' = 'your_oracle_host', 'port' = 'your_oracle_port', 'username' = 'your_oracle_username', 'password' = 'your_oracle_password', 'database-name' = 'your_oracle_database', 'schema-name' = 'your_oracle_schema', 'table-name' = 'your_oracle_table' ); -- 定义Doris目标表 CREATE TABLE doris_sink_table ( id INT, name STRING, -- 其他字段... ) WITH ( 'connector' = 'doris', 'fenodes' = 'your_doris_fenodes', 'table.identifier' = 'your_doris_database.your_doris_table', 'username' = 'your_doris_username', 'password' = 'your_doris_password' ); -- 插入数据 INSERT INTO doris_sink_table SELECT * FROM oracle_source_table; ``` ### 提交任务 提交上述Flink SQL任务，确保在提交任务前，`flink-cdc` 对应版本的lib目录下有正确的连接器。例如如果是 `flink-cdc-3.1.0` ，要确保 `flink-cdc-3.1.0/lib` 目录下有对应的 `flink-cdc-pipeline-connector-oracle` 和 `flink-cdc-pipeline-connector-doris` 版本的jar包（版本需根据实际情况适配） [^2]。 ### 监控 对同步任务进行监控，观察是否有数据正常同步，以及是否有报错信息等。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值