- 博客(5)
- 收藏
- 关注
原创 常用正则表达式:数字替换、字母替换
样例数据:abc123kkk6667,abc456,Abc789,cDe(002),数字替换:正则表达式一:([0-9][0-9][0-9]) 匹配任意三位数字 ()也可以去掉,结果一样返回结果:abckkk7,abc,Abc,cDe(),正则表达式二:[0-9]* 匹配所有数字返回结果:
2023-11-24 16:36:38
2348
1
原创 idea 打开新的项目 dependencies报错Cannot resolve jdk.tools:jdk.tools:1.6
将pom文件中的jdk名称改为jdk1.8.0_291,然后reload project, 问题解决。pom文件中引用的是 jdk1.8.0_281,但系统存的文件名称是jdk1.8.0_291;修改以上三处jdk版本。
2023-11-03 11:15:43
1231
原创 增量表、全量表、快照表、拉链表
在某个特定时间点,将全表的数据同步至数仓中,主要用于数据备份和恢复,便于恢复到任意一个版本,但消耗内存。全量数据 + 每一个状态发生变化时的数据,便于记录历史状态。t 时刻数据 与 t-1数据比对,有差异的部分存入增量表。数仓中的数据都同步至全量表中,包含历史数据和实时数据。记录每个分区时间的全量数据。记录每天新增和改变的数据。记录所有最新状态的数据。
2023-10-11 16:19:19
198
原创 datax同步到一半报错 java.io.EOFException:
设置定时调度的datax任务,将数据从oracle库同步至mysql库,同步一半数据了,突然抛了个EOF异常:java.io.EOFException: Can not read response from server. Expected to read 4 bytes, read 0 bytes before connection was unexpectedly lost.可能是因为在同步数据过程中,数据源也在更新,类似于水龙头和排水口同时打开了,池子里的水出现了混乱,因此报错。
2023-10-10 19:36:59
1040
1
原创 datax同步任务报错 java.sql.SQLException : No database selected
当datax 写入数据库 设置如下时,数据库名和数据库地址分两个地方填写,报错 No database selected。解决方法:将数据库名加在对应的jdbcUrl后面,问题解决。
2023-10-10 18:45:25
296
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人