- 博客(5)
- 收藏
- 关注
RSS订阅
原创 Canal1.1.4实时获取RDS MySQL binlog数据推送到Kafka
前言：现在不少公司的业务数据都储存在阿里云的MySQL数据库中。其中有些数据储存在RDS中，这个与传统的关系型数据库连接配置又略有不同。当前文档基于1.1.4版本的canal去实时获取RDS库的binlog日志，在把数据实时同步到Kafka中，通过flink进行逻辑处理，解析json数据，拼接成sql写入到我们自己的分布式数据库clickhouse中。点击了解RDS：https:...
2020-04-22 10:08:19
2481
1
原创 为什么canal数据只推送到kafka topic的其中一个分区中
也许当你发现使用canal获取binlog数据后，也正常的推送到kafka中去。由于数据量较大，对kafka的topic进行了多分区设置。但是当你查询该topic数据时，发信数据都在其中一个分区内（0分区）。这个问题该怎么解决呢？！当我遇到这个问题时，第一个想到的是不是kafka配置topic的设置问题。后来排查发现不是，那么就只能是canal的配置问题了。因此，我又一次把instance...
2020-04-28 20:41:46
2833
1
原创 canal连接RDS MySQL binlog报错收集及解决办法
如果canal获取不到binlog的数据，可以去查看canal目录下的 logs/example/example.log 日志数据。在项目中我遇到以下错误，记录并分享。希望对你有帮助~错误一：Caused by: java.io.IOException: ErrorPacket [errorNumber=1142, fieldCount=-1, message=SHOW comm...
2020-04-21 20:57:21
2400
2
原创 开启吧！BinLog！
MySQL-BinLog是MySQL数据的二进制日志，用于记录用户对数据的操作（insert、update、delete等，不包含select和show）首先，我们要判断我们的MySQL是否开启了binlog日志。show variables like 'log_bin%';如上图所示，log_bin的状态是关闭的，因此我们需要开启binlog日志的功能修改m...
2020-04-20 20:17:49
374
1
原创 EXCEL利用正则匹配去替换内容
做项目过程中需要对某一列字段进行添加“【】”将字段包裹起来，因此上网查了EXCEL的正则匹配如何使用，在此记录一下，防止忘记。打开文件一定要选择EXCEL打开，WPS目前没有发现该功能（平时使用也很少）。下面步入正题，打开EXCEL文件后。按住ALT+F11，右键文件选择“查看代码”，输入代码：代码如下：Private Sub RegExp_Replace() Dim...
2019-03-02 15:21:33
14714
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人