canal中间件学习记录

canal 官方 issue 学习记录

关于解析位点与消费位点 #320
问题：canal server和client都在运行中，此时往数据库变更很多数据（假设十万）
现在假设parser已经解析完，位点处于binlog最新的位置，但client消费很慢，只消费了一万条数据。此时如果server挂了，然后重新启动，读取zk上的解析位点（binlog最新位置），此时server上的binlog数据只有最新的，而client还没消费完，此时client再获取数据，是不是就获取不到那九万条没消费的数据？
答疑1：每次从mysql获取binlog不是都要从指定起始位置开始嘛， 所以我贴的是解析起始位点代码，大概是每次canal server 启动都会去拿上次客户端消费后（ack）的positon（如果有）去mysql获取binlog, 所以即使canal server 获取了10w 条记录，canal client 只消费了1000条后canal server挂了， 如果ack成功更新了这1000条记录，下次从1000开始消费，如果没有ack成功，应该从头开始消费，就会有重复！至于你说的消费不到，除非journalname，postion, timestamp 都没配置，就是从mysql binlog(show master status)最近的开始消费。
答疑2：不会出现你说的这个问题，因为zk的位点只会由客户端自己同步，存放的是消费进度。server端是不会更新zk中的位点的，这样就保证了zk中的位点只会是实时的消费进度。当server端重启时，首先server端会进行binglog位点的选择，选择过程会经过2步，第一步是从内存中找解析位点，如果内存中位点不存在会从继续从zk中查找。由于服务重启了，所以此时内存中的位点数据是不存在的，因此它会再从zk中找位点，因为zk中存的是客户端的进度位点，所以能够保证server端的binglog的同步位点与消费位点一致。所以不存在你说的这个问题。
具体的可以看一下server端找位点的实现过程，一般都是FailbackLogPositionManager的实现