
数据同步
文章平均质量分 76
一粒菜鸟
这个作者很懒,什么都没留下…
展开
-
canal-adapter从数据库读取配置代码解析及改造
前言从canal-adapter文档我们可以知道,其实adapter本身是有从数据库读取配置的功能的,但是文档中只是简单的提了一句,本文就从代码入手,带大家看看adapter从数据库读取配置这部分的功能是如何实现以及应该如何去使用它。代码详解主要介绍几个关键的位置,帮助大家理清思路com.alibaba.otter.canal.adapter.launcher.config.BootstrapConfiguration.java @PostConstruct public void l原创 2020-07-02 21:31:06 · 14533 阅读 · 2 评论 -
canal-adapter适配elasticsearch 2.x和5.x版本
前言适配elasticsearch不同版本的过程,是一个了解adapter整体架构的过程,但是同样也很想吐槽elasticsearch的版本间的不兼容问题,不过既然要用,就怂怂的接受好了。适配注:adapter使用版本为1.1.5-alpha在1.1.5版本的adapter中es的同步,将不同大版本的es打成了不同的jar包,然后再通过配置文件去调用相应版本的包去同步数据,官方提供了es6...原创 2020-05-05 18:11:40 · 13882 阅读 · 0 评论 -
canal修改同步位点解析
前言在canal的数据同步使用过程中,有时会遇到需要修改同步位点的情况,这里对修改位点操作做一下记录。分析我们知道在canal-server的instance的配置文件中有一下配置项是与位点修改相关的,canal.instance.master.journal.name=canal.instance.master.position=canal.instance.master.times...原创 2020-04-21 23:03:28 · 16870 阅读 · 1 评论 -
canal-adapter趟坑实践:canal-server的kafka SASLPLAIN方式鉴权适配
前言canal-server同步到kafka本身是支持Kerberos方式的鉴权的,但是鉴于项目现在使用的kafka集群使用的是SASL/PLAIN的鉴权方式,所以需要对canal-server同步kafka做一下适配改造。准备kafka SASL/PLAIN鉴权的搭建我参考的这篇文章kafka SASL/PLAIN鉴权的搭建了解如何使用java向以SASL/PLAIN方式鉴权的kafk...原创 2020-03-16 10:14:53 · 14560 阅读 · 0 评论 -
canal-adapter同步mysql问题记录
canal-adapter同步mysql问题记录前言同步mysql问题前言canal-adapter目前支持rdb、es、kafka、hbase等多个目标端的同步,最近几篇我会记录一下我在使用adapter向这些目标端同步时,是如何解决es、hbase版本适配,添加部分个性化需求,以及如何处理一些我遇到各种问题。今天先来记录一下adapter同步mysql。同步mysqlapplicat...原创 2020-02-28 18:21:45 · 15857 阅读 · 3 评论 -
多个canal-server集群共用一套zookeeper解决方案
多个canal-server集群共用一套zookeeper解决方案前言集群配置zk部署多套server集群前言canal提供了使用zk搭建集群版的server的方式,进一步保证了canal的高可用性,但是我们有时会遇到需要多个集群的情况,在使用中发现,一个集群就需要搭建一套zk,这就大大增加了我们使用的成本,下面就给大家介绍一下如何使用一套zk,创建多个canal-server集群集群配置...原创 2020-02-21 18:56:01 · 15640 阅读 · 0 评论 -
k8s集群下canal-adapter连接canal-server实践
k8s集群下adapter连接server域名问题改造前言问题解析解决方案前言成也容器重启,败也容器重启,说好的重启治百病,在容器这里,是重启出百病啊!之前说过,我们使用statefuset类型使canal-server域名固定之后又挂载pv使server即使重启也不会丢失数据,本以为万事大吉,没想到在用adapter同步数据时发现还是出了bug…问题使用域名注册server之后,马上启...原创 2020-02-20 19:37:28 · 14605 阅读 · 0 评论 -
k8s集群下canal-server的伪高可用实践
k8s集群下canal-server的伪高可用实践前言问题解决方案总结前言前面我们已经介绍了canal的admin、server、adapter三个部分的容器化以及在k8s集群下的搭建过程。在创建canal-server的时候,k8s环境下,容器重启会造成ip地址的变动给我们带来了一些问题,我们通过在创建canal-server的时候使用statefuset类型,使其可以通过固定的域名去向ca...原创 2020-02-17 19:46:56 · 14292 阅读 · 4 评论 -
k8s集群下搭建数据同步工具-canal:canal-adapter篇
k8s集群下搭建数据同步工具-canal:canal-adapter篇前言容器化canal-adapter环境准备k8s集群创建podcanal-adapter前言canal-adapter的创建步骤就相对简单,主要是镜像的构建和同步相关配置的问题,后续会写一些adapter适配过程中遇到的坑,以及可能需要自己去改造的部分内容。容器化canal-adapter环境准备yum源文件 C...原创 2020-01-31 16:38:27 · 15012 阅读 · 1 评论 -
k8s集群下搭建数据同步工具-canal:canal-server篇
k8s集群下搭建数据同步工具-canal:canal-server篇前言容器化canal-server环境准备k8s集群创建podcanal-server前言canal-server的搭建过程与canal-admin大体相同,但需要解决一下一些问题,我们知道,server是通过canal.properties中的register.ip想admin注册server信息的,但是在k8s环境下,po...原创 2020-01-18 09:12:01 · 17663 阅读 · 2 评论 -
k8s集群下搭建数据同步工具-canal:canal-admin篇
k8s集群下搭建数据同步工具-canal前言容器化canal-admin环境准备canal-servercanal-adapterk8s集群上搭建canalcanal-admincanal-servercanal-adapter前言本文使用v1.1.4版本的canal相关程序进行容器化,主要包含cana-admin、canal-server、canal-adapter三个部分,其中admin和...原创 2020-01-14 20:53:56 · 16112 阅读 · 2 评论 -
数据同步工具--Canal
数据同步工具--Canal前言canal简介定位工作原理名词解释实例部署环境准备jdk1.8版本zookeeper源端mysql环境参数初始化canal安装包安装部署配置修改启动查看日志监控运维监控运维前言最近有数据同步相关的需求,遂在网上查看相关的数据同步工具,便发现了阿里开源出来的数据增量同步工具canal,翻阅官方文档之后,最终确定先使用canal将源端数据同步到kafka,再通过发布订...原创 2019-04-21 13:23:22 · 14247 阅读 · 0 评论