
otter专题
文章平均质量分 83
Experience-摆渡
走一步,再走一步
展开
-
Otter数据同步原理
上图是基于memory的仲裁器实现的数据扭转时许图,数据在经过SETL四个阶段完成数据处理,每个数据阶段处理完成将数据推送至下一个阻塞队列由下一个阶段的任务处理器完成数据处理再推向下一个阶段。在讲otter同步原理前需要提一下mysql的日志,otter是基于mysql的增量日志解析来实现数据同步的,这里的日志就是mysql二进制日志——binlog日志,该类型日志详细记录了所有修改的数据的sql,当某一时刻的数据误操作导致问题,或者数据库当即数据丢失,就可以通过binlog日志完成数据的找回。原创 2024-12-07 21:53:23 · 936 阅读 · 0 评论 -
otter 扩展
通过实现EventProcessor 接口,完成自已逻辑处理,可以完成每一条数据的处理,不过此处自定义EventProcessor也存在一些坑,比如在执行ddl语句时,如果对应的Pipeline中配置了支持ddl同步,ddl语句在执行至自定义的EventProcessor时存在不可预见的异常,这块在实际处理的过程中可以关闭对ddl同步支持,或者忽略掉ddl异常。Transform模块:这个模块的自定义目前没有看到对应的官方demo,源码叶没有关注到对应的实现,有待进一步了解。原创 2024-11-30 21:41:22 · 357 阅读 · 0 评论 -
otter 高可用策略
manager对node的节点监控室基于zookeeper的发布定于机制,node节点在启动时会在zookeeper上创建node的临时节点信息,manager会订阅node节点变化,若出现临时节点被删除的事件,会触发manager上的异常告警处理机制,在异常处理机制中会尝试重启对应的同步任务。注意点:每个node节点,都会在zookeeper中生成Ephemeral节点,每个node都会缓存住当前存活的node列表,node节点消失,通过zookeeper watcher机制刷新每个node机器的内存。原创 2024-11-30 21:28:13 · 736 阅读 · 0 评论 -
otter 自由门使用方法
* 业务表授权,这里可以限定只授权同步业务的表 */一、先参考otter官方文档完成channel的配置。(2)删除现有的系统表。(1)数据库账户授权。(4)插入初始化数据。二、涉及的部分数据库操作。原创 2024-11-14 22:55:05 · 513 阅读 · 0 评论 -
关于otter监控告警使用
otter监控告警原创 2024-11-30 17:08:19 · 1080 阅读 · 0 评论