- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 数仓实时数据同步debezium实践踩坑
数仓实时数据同步debezium实践踩坑在mysql的测试过程中日期解析报错。因为mysql的日期时间可以随便写，而java必须是1970-01-01 00:00:00及以后的。生产上很多默认写的0000-01-01 01:01:01。需要修改源码匹配无效时间全部改为1970-01-01 00:00:00。时区差异，内部转换写死使用的utc，无法更改。并且datetime被选为timestamp数值,timestamp被转为timestamp_with_zone字符串,time被转为微秒数，date
2020-09-01 22:36:16
1638
原创 数仓实时数据同步 debezium
数仓实时数据同步 debezium背景debezium 简介架构基本概念例子目前遇到的问题背景数据湖将源库的数据同步到hive数仓ods层，或直接在kafka中用于后面计算。源库包括mysql、postgresql、sqlserver、oracle，大部分是mysql数据库。当前采用的sqoop T+1全量或增量抽取的方式，时效性低，delete的数据可能无法被正确处理。选择debezium的原因：数据源支持众多，使用的组件仅仅是kafka，需要进行的开发少；debezium使用kafka-conne
2020-08-07 11:30:45
3311
CLOUDERA-Manager-中文手册
2016年3月版本
Cloudera Manager 是 CDH 市场领先的管理平台。作为业界第一的端到端 Apache Hadoop 的管理应用，Cloudera
Manager 对 CDH 的每个部件都提供了细粒度的可视化和控制，从而设立了企业部署的标准。通过 Cloudera Manger，运
维人员得以提高集群的性能，提升服务质量，提高合规性并降低管理成本。
2018-04-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人