FaN()

使用Canal + ClickHouse实时分析MySQL事务信息作为DBA, 有时候我们会希望能够了解线上核心库更具体的"样貌", 如:这个库主要的DML类型是什么?这个库的事务大小, 执行时间, 影响行数大概是什么样的?以上信息也许没什么价值, 但大事务对复制的影响不用多说, 并且当我们希望升级当前主从架构到MGR/PXC等高可用方案的场景时以上信息就比较重要了(毕竟用数据说话更有力度).大事务对MGR和PXC都是不友好的, 尤其是MGR(起码在5.7版本)严重时会导致整个集群hang死

canal -> kafka -> consumer. flatMessage=False参考 canal Python客户端.由于canal Python客户端是作为canal的client直连canal 11111端口消费数据而非消费kafka数据, 所以example不能照搬, 需要做一些修改Python3.7.4requrimentsbackcall==0.1.0b...

Canal dynamicTopic问题续最近在新公司搭了一套canal. 按照<<dynamicTopic问题>>设置了canal.mq.topic和canal.mq.dynamicTopic意图将一些不符合dynamicTopic匹配的语句的消息发送到一个默认的topic而避免报错INVALID_TOPIC_EXCEPTION# table regexcanal...

Canal dynamicTopic问题未来同事跑了几个月的canal突然报下面的错, 使用了dynamicTopic. 其实我没有用过dynamicTopic, 只能搜一搜issue关于dynamicTopic和partitionHash的说明canal.mq.dynamicTopic 表达式说明canal 1.1.3版本之后, 支持配置格式：schema 或 schema.table...

canal.mq.flatMessage是否为json格式如果设置为false,对应MQ收到的消息为protobuf格式需要通过CanalMessageDeserializer进行解码canal.mq.flatMessage = true 生产到kafka的消息就是json的, 否则就是protobuf二进制的$bin/kafka-console-consumer.sh --bootst...