XUEJIA2S的博客

前言适配elasticsearch不同版本的过程，是一个了解adapter整体架构的过程，但是同样也很想吐槽elasticsearch的版本间的不兼容问题，不过既然要用，就怂怂的接受好了。适配注：adapter使用版本为1.1.5-alpha在1.1.5版本的adapter中es的同步，将不同大版本的es打成了不同的jar包，然后再通过配置文件去调用相应版本的包去同步数据，官方提供了es6...

前言在canal的数据同步使用过程中，有时会遇到需要修改同步位点的情况，这里对修改位点操作做一下记录。分析我们知道在canal-server的instance的配置文件中有一下配置项是与位点修改相关的，canal.instance.master.journal.name=canal.instance.master.position=canal.instance.master.times...

canal-adapter同步mysql问题记录前言同步mysql问题前言canal-adapter目前支持rdb、es、kafka、hbase等多个目标端的同步，最近几篇我会记录一下我在使用adapter向这些目标端同步时，是如何解决es、hbase版本适配，添加部分个性化需求，以及如何处理一些我遇到各种问题。今天先来记录一下adapter同步mysql。同步mysqlapplicat...

多个canal-server集群共用一套zookeeper解决方案前言集群配置zk部署多套server集群前言canal提供了使用zk搭建集群版的server的方式，进一步保证了canal的高可用性，但是我们有时会遇到需要多个集群的情况，在使用中发现，一个集群就需要搭建一套zk，这就大大增加了我们使用的成本，下面就给大家介绍一下如何使用一套zk，创建多个canal-server集群集群配置...

k8s集群下adapter连接server域名问题改造前言问题解析解决方案前言成也容器重启，败也容器重启，说好的重启治百病，在容器这里，是重启出百病啊！之前说过，我们使用statefuset类型使canal-server域名固定之后又挂载pv使server即使重启也不会丢失数据，本以为万事大吉，没想到在用adapter同步数据时发现还是出了bug…问题使用域名注册server之后，马上启...

k8s集群下canal-server的伪高可用实践前言问题解决方案总结前言前面我们已经介绍了canal的admin、server、adapter三个部分的容器化以及在k8s集群下的搭建过程。在创建canal-server的时候，k8s环境下，容器重启会造成ip地址的变动给我们带来了一些问题，我们通过在创建canal-server的时候使用statefuset类型，使其可以通过固定的域名去向ca...

k8s集群下搭建数据同步工具-canal:canal-adapter篇前言容器化canal-adapter环境准备k8s集群创建podcanal-adapter前言canal-adapter的创建步骤就相对简单，主要是镜像的构建和同步相关配置的问题，后续会写一些adapter适配过程中遇到的坑，以及可能需要自己去改造的部分内容。容器化canal-adapter环境准备yum源文件 C...

k8s集群下搭建数据同步工具-canal:canal-server篇前言容器化canal-server环境准备k8s集群创建podcanal-server前言canal-server的搭建过程与canal-admin大体相同，但需要解决一下一些问题，我们知道，server是通过canal.properties中的register.ip想admin注册server信息的，但是在k8s环境下，po...

服务器无外网环境安装软件背景yum源rpm安装背景有过linux服务器内网环境安装各种软件经历的童靴或多或少体验过安装过程中各种依赖缺失，又找不到合适rpm包的痛苦，下面是一些我工作经历中总结出的一些可以减少这些痛苦的经验，给新手开路，望大神指点！yum源这是大家安装软件时，最爽的安装方式之一，写在这里有点算废话了，但是还是想说一句，能用本地yum源安装的就不要再用下面的这些方法了。yu...