关于读取Oracle数据时间丢失问题

最新推荐文章于 2022-08-09 20:56:23 发布
最新推荐文章于 2022-08-09 20:56:23 发布
阅读量692 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： JAVA 文章标签： oracle jdbc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jiangwzh/article/details/7196075
这是由于Oracle jdbc驱动程序兼容性引起，必须在连接属性中加入oracle.jdbc.V8Compatible=true
通过JDBC取Oracle数据库的时间字段时，时间丢失，只剩日期
abinbin的博客
03-14 500
通过JDBC取Oracle数据库的时间字段时，时间丢失，只剩日期
自用文档
dreamingkBoy的博客
08-14 444
1. 数据库 DBLINK create database link link名称 connect to 对方数据库用户名 identified by 对方数据库用户密码 using '对方数据库ip:端口/实例名'; 2. 一个页面有多个echarts图形时自适应窗口大小 myChart.setOption(option); window.addEventListener("resize"...
Hibernate连接Oracle 的 Date字段时间时分秒丢失问题
莫奈_LeeBruce
06-02 2214
Hibernate连接Oracle的Date类型字段丢失时间问题（解决方案） 问题：    实体类传去的时间2009-12-13 00：00：00,日期类型字段在数据库中存储时为：2009-12-13 原因：      hibernate在与oracle数据库交互时对数据库中定义为Date类型的字段，自动映射为java.sql.Date。而java.sql.Date本身只取日期
oracle全量增量_全量同步+增量同步 ALL模式 数据丢失问题
weixin_39915081的博客
12-19 366
同步了一张11966733条数据的表到mysql，用的ALL模式，同步期间oracle库无操作，同步完成进入增量模式后 查mysql那个表记录数为11941943，少了24790条。用CHECK模式运行了下check.log里确实检查出了这些没过去的行。 试了两次都会少几万条，但少的条数不完全一样。全量时看这张表对应的table.log会一直报com.mysql.jdbc.exceptions.j...
解决数据库查询时间少8小时(时区)问题
逆天killer的博客
08-09 2989
从业务表查询数据入到统计表。数据库时间存储字段为timestamp,发现从业务表查出的时间数据入统计表后少了8小时。debug经查是查询业务表的输出就少了8小时。采用方法二,修改代码数据库连接即可解决。方式一是修改数据库服务本身的配置。...
基于oracle小数点前零丢失的问题分析
09-10
在Oracle数据库中，小数点前的零丢失问题是一个常见的数据处理问题，特别是在涉及字符类型（如CHAR或VARCHAR2）与数值类型（如NUMBER）之间的转换时。这个问题主要出现在当数值小于1，并且以字符形式存储时，小数点...
深入浅析mybatis oracle BLOB类型字段保存与读取
09-10
在处理BLOB字段时，我们需要确保正确地映射和操作这些字段，以避免数据丢失或格式错误。 首先，我们来看表结构的创建。以下是一个包含BLOB字段的表`BLOB_FIELD`的示例： ```sql CREATE TABLE BLOB_FIELD ( ID ...
sql 精度 oracle 999,spark sql读取oracle的number类型的数据时精度丢失问题
03-16
当使用Spark SQL读取Oracle中的Number类型数据时，可能会出现精度丢失的问题。这是因为Oracle中的Number类型可以存储高精度的数值，而Spark SQL默认只能处理64位的浮点数，因此在读取Oracle中的Number类型数据时，...
Oracle除去数据中的换行符以免读取出现问题
09-10
处理含有特殊字符的数据时，确保充分测试并考虑所有可能的情况，以避免数据丢失或不一致。此外，对于非常大的数据集，这些操作可能会影响性能，因此在生产环境中使用时，应谨慎评估和计划。 总的来说，Oracle数据库...
java从oracle中读取大量数据写出到文件
小小探索者
09-15 3900
java从oracle中读取大量数据写出到文件 背景：项目中需要从oracle中读取表字段并以指定间隔符拼接字段，输出到txt。每张表的数据量大概在2000W左右，因为是只需要读一张表指定字段的全部数据，也不需要考虑查询优化，只针对表读取规模进行优化即可。 版本oracle 11G 思路一： 使用oracle语句对数据表进行分页读取，这里应注意到的是rowid效率和rownum效率问题,还有使不使用order by SELECT t.* FROM a t, (SELECT ROWNUM rn, c.*
数据库查询时间没有了时分秒的解决办法
08-17
数据库查询时间没有了时分秒的解决办法 增加服务器/Java应用的虚拟机参数:-Doracle.jdbc.V8Compatible="true"
查询oracle，展示到前端，时间格式数据多了一个.0?
ycy11370的博客
11-04 2557
原因：这个.0其实代表的是纳秒。当我们数据库时间类型字段设置为datetime类型是，并且返回值用string类型接收的时候，把时间打印出来，会出现纳秒。 解决办法：可以在业务代码中format解决，但不建议，因为涉及到列表多条数据需要作循环； 直接在sql中利用 to_char(EITIME, "yyyy-mm-dd hh24:mi:ss") as xxx 的方式写出即可； ...
oracle时间去掉日期,Oracle 时间和日期处理
weixin_39824191的博客
04-05 2246
-- Oracle时间SELECT SYSDATE FROM dual; -- 系统时间SELECT SYSTIMESTAMP FROM dual; -- 当前系统时间戳SELECT CURRENT_TIMESTAMP FROM dual; -- 与时区设置有关，返回的秒是系统的，返回的日期和时间是根据时区转换过的SELECT current_date FROM dual; -- ...
记一次linux系统Java虚拟机参数设置
TYblackandwhite的博客
02-24 738
Java虚拟机参数： -Doracle.jdbc.V8Compatible=true Linux运行jar包命令 ： nohup java -jar -Doracle.jdbc.V8Compatible=true ams_communmgr.jar>/opt/ams3/outputLog/ams_communmgr-1.0.0-SNAPSHOT.out 2>&1 &am...
“Oracle 9i/Oracle 10g” 查询 参数java.util.date 未使用索引
JoardSpike的进化历程
01-18 200
假设我们使用这样的sql通过绑定变量(类型为java.util.date)查询数据库，其中end_date是date类型且建立了索引。    “select count(*) from table1 where end_date >= :1 and end_date <= :2”通常，面对这样的sql，我们希望它的执行计划走index range scan。然而在默认情况下oracle...
oracle.jdbc.V8Compatible
wonder的地下室
11-07 4325
We are using the ojdbc14.jar driver to talk to a 10.1.0.4 version database. When calling getObject() on a rowset, asking for a column that has database type TIMESTAMP(9), I expect to get a java.sql.Ti
Oracle JDBC驱动与时间不见了的问题 -Doracle.jdbc.V8Compatible="true"
龙卷风之家
07-01 2181
  参考 http://www.blogjava.net/midea0978/archive/2008/06/13/207655.html
Oracle JDBC驱动与时间不见了的问题
lennon0829的专栏
08-23 737
一般的数据库中，DATE字段仅仅表示日期，不包括日期信息，而Oracle数据库中的DATE数据类型是包括日期、时间的，对于不同的Oracle jdbc驱动版本，对于该问题的处理都有些区别，如果你使用9i或者11g 的驱动程序，可能不会发现什么困惑，不幸的话，你使用Oracle1
VTK笔记——合并数据(vtkMergeFilter)
Andy的专栏
08-11 2105
之前写过一篇与合并数据相关的笔记《VTK笔记——合并数据(vtkAppendPolyData)》，用vtkAppendPolyData合并多边形数据，有个基本的条件就是输入数据类型要一致。如果我们想要合并数据片段，那可能就要用到vtkMergeFilter.
flink cdc 第一次读取 oracle 数据不全
最新发布
03-12
<think>好的，我现在需要处理用户关于Flink CDC第一次读取Oracle数据不全的问题。首先，我得回忆一下Flink CDC的工作原理，特别是与Oracle相关的部分。用户提到初次读取时数据不全，可能有哪些原因呢？ 首先，可能想到的是快照阶段的配置问题。Flink CDC在首次读取时通常会做全量快照，如果数据量很大或者配置不当，可能导致读取不全。比如，snapshot.mode参数是否正确设置为initial？如果配置成了latest，可能只会捕获之后的变更，而不会读取现有数据。 然后，分片配置的问题。Oracle CDC在快照阶段可能会分片读取数据，如果分片设置不合理，比如分片数太少，可能导致部分数据未被读取。需要检查split-size或者split-meta-group.size等参数是否合适。 另外，表的主键是否缺失？Flink CDC可能依赖主键来进行数据分片，如果表没有主键，可能导致数据分片不均匀，进而导致数据丢失。这时候可能需要检查表结构，或者手动指定split key。 还有可能是事务一致性的问题。Oracle的快照读取需要保证一致性，如果在快照过程中有数据修改，可能导致读取的数据不一致。是否使用了正确的隔离级别？比如，Flink CDC是否配置了读一致性，或者Oracle的undo表空间是否足够，避免快照过程中无法获取一致性视图。 网络或连接问题也可能导致读取中断，比如超时设置过短，或者连接被中断，导致部分数据未被读取。需要检查日志是否有相关的超时或连接错误，适当调整连接参数和超时时间。 权限问题也不能忽视。Flink CDC连接Oracle的用户是否有足够的权限访问所有需要的数据？比如SELECT权限、日志读取权限等。如果权限不足，可能导致部分数据无法读取。 此外，Oracle的日志归档模式是否开启？Flink CDC可能依赖归档日志来捕获变更，如果没有正确配置，可能影响快照和增量读取。需要确认数据库是否处于ARCHIVELOG模式，并且日志相关参数正确。 还有可能是Flink CDC版本的问题。某些版本的Flink CDC可能存在bug，导致数据读取不全。检查是否有相关的问题或更新，考虑升级到最新版本。 用户可能需要检查这些方面，逐步排查问题。首先确认配置是否正确，尤其是快照模式和分片参数。然后检查表结构和权限，确保Flink CDC能够正确访问和处理数据。查看日志是否有错误信息，帮助定位具体原因。最后，考虑数据库本身的配置和状态，确保Flink CDC能够正常运作。</think>以下是 Flink CDC 首次读取 Oracle 数据不全的可能原因及排查步骤，按优先级排序整理： --- ### **1. 快照模式（Snapshot Mode）配置问题** - **现象**：首次读取时未拉取全量数据，仅捕获后续增量数据 - **原因**：`snapshot.mode` 参数未正确配置为全量快照模式 - **解决方案**： ```sql CREATE TABLE oracle_table ( ... ) WITH ( 'connector' = 'oracle-cdc', 'snapshot.mode' = 'initial' -- 必须明确指定初始快照模式 ); ``` - 可选模式：`initial`（全量+增量）、`schema_only`（仅表结构）、`schema_only_recovery`（恢复模式） --- ### **2. 分片策略配置不当** - **现象**：大数据量表部分分片未被处理 - **原因**：默认分片策略不适合超大表 - **解决方案**： ```sql WITH ( ... 'scan.incremental.snapshot.chunk.size' = '8096', -- 增大分片大小（默认4096） 'split-key.even-distribution.factor.upper' = '1000', -- 调整分片分布因子上限 'split-key.even-distribution.factor.lower' = '0.05' -- 调整分片分布因子下限 ); ``` --- ### **3. 主键缺失导致分片异常** - **现象**：无主键表出现数据丢失 - **原因**：Flink CDC 依赖主键进行分片 - **解决方案**： - 方案一：为表添加主键 - 方案二：手动指定分片列 ```sql WITH ( ... 'scan.incremental.snapshot.chunk.key-column' = 'user_id' -- 指定分片列 ); ``` --- ### **4. 一致性读问题** - **现象**：快照期间数据持续写入导致不一致 - **原因**：Oracle 未开启闪回查询或 UNDO 空间不足 - **解决方案**： 1. 保证 UNDO 表空间足够： ```sql ALTER DATABASE DATAFILE '/u01/oradata/undotbs01.dbf' RESIZE 10G; ``` 2. 配置闪回保证： ```sql WITH ( ... 'debezium.source.consistent.read' = 'true' ); ``` --- ### **5. 权限不足** - **现象**：日志访问失败导致部分数据缺失 - **必需权限**： ```sql GRANT SELECT ON V_$DATABASE TO <user>; GRANT SELECT ON V_$LOG TO <user>; GRANT SELECT ON V_$LOGFILE TO <user>; GRANT SELECT ON V_$ARCHIVED_LOG TO <user>; GRANT SELECT ON V_$PARAMETER TO <user>; ``` --- ### **6. 日志归档配置问题** - **验证步骤**： ```sql SELECT log_mode FROM v$database; -- 必须返回 ARCHIVELOG SELECT supplemental_log_data_min FROM v$database; -- 必须返回 YES ``` --- ### **排查工具建议** 1. 查看 Flink 日志： ```bash grep "Snapshot split" taskmanager.log ``` 2. 检查 Debezium 指标： ```java metrics.get("snapshot.remaining.rows") ``` 3. Oracle 会话监控： ```sql SELECT sid, serial#, sql_id FROM v$session WHERE username = '<cdc_user>'; ``` --- 通过以上步骤逐步排查，可解决 90% 以上的首次读取不全问题。建议优先检查快照模式和分片策略配置，再验证数据库权限和日志配置。对于 TB 级表，建议采用动态分片调整策略。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值