制作canal-adapter的docker镜像

原创 已于 2022-07-05 16:52:21 修改 · 2.6k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#docker #容器 #运维 #镜像

于 2022-07-01 17:11:20 首次发布
本文介绍如何将Canal Adapter 1.1.6版本打包为Docker镜像，以便于部署和管理。文章详细记录了从下载Canal Adapter压缩包到构建Docker镜像的全过程，并提供了一个定制的启动脚本，简化了容器重启流程。

说明：

因为我们的中间件都是使用docker进行管理的，但是canal官方就很奇怪，在https://hub.docker.com/search?q=canal里面提供了canal-server和canal-admin的docker镜像包，偏偏没有canal-adapter，这就很恶心了。所以我们得要想办法把canal-adapter也制作成docker镜像，方便我们部署

如果需要怎么使用canal同步数据，可以参考https://blog.youkuaiyun.com/qiaodaima0/article/details/121998768?spm=1001.2014.3001.5502

环境：

我们以最新的1.1.6版本进行演示

步骤：

1、官网下载canal-adapter压缩包

https://github.com/alibaba/canal/releases/tag/canal-1.1.6
或直接点击下载https://github.com/alibaba/canal/releases/download/canal-1.1.6/canal.adapter-1.1.6.tar.gz
在这里插入图片描述

2、把压缩包上传服务器

我

最低0.47元/天 解锁文章
docker canal-server canal-adapter mysql
非常暴躁的程序猿博客
06-09 3230
本文将介绍使用docker安装并配置canal-server、canal-adapter。将MySQL的数据同步到MySQL。 本教程中的canal-mode为tcp，若换成其他如kafka、rocketMQ，大同小异 1.canal介绍 canal的工作原理就是把自己伪装成MySQL slave，模拟MySQL slave的交互协议向MySQL Mater发送 dump协议，MySQL mater收到canal发送过来的dump请求，开始推送binary log给canal，然后canal解析binary
Cannal初体验：使用Docker安装Canal详细流程说明
Jz_Stu的博客
03-10 5625
使用docker安装canal的详细步骤
canal-adapter-v1.1.7的docker镜像
01-08
canal-adapter-v1.1.7，docker镜像，参考的制作流程：https://blog.youkuaiyun.com/qiaodaima0/article/details/125561823?spm=1001.2014.3001.5501
Docker 安装 canal 详细步骤
最新发布
longchanghua_enshi的专栏
09-26 1126
本文详细介绍了基于Docker部署Canal实现MySQL数据库增量数据订阅的完整流程。主要内容包括：1）Canal工作原理，通过模拟MySQL从库获取二进制日志实现数据变更捕获；2）Docker环境搭建，创建专用网络并部署MySQL、Canal-admin和Canal-server服务；3）关键配置详解，包括MySQL的binlog开启、Canal连接参数及实例配置；4）Go语言客户端实现数据变更监听的具体代码示例。文章还提供了常见问题排查方法，如内存不足导致服务启动失败的解决方案。
canal-1.1.6(deployer admin deployer)
06-22
github下载太慢,放一份到这方便大家 官方下载地址 https://github.com/alibaba/canal/releases 资源包括 canal.adapter-1.1.6.tar canal.admin-1.1.6.tar canal.deployer-1.1.6.tar
Docker 定制容器镜像的2种方法
12-07 1099
一、需求 　　由于在测试环境中使用了docker官网的centos 镜像，但是该镜像里面默认没有安装ssh服务，在做测试时又需要开启ssh。所以上网也查了查资料。下面详细的纪录下。在centos 容器内安装ssh后，转成新的镜像用于后期测试使用。 　　 二、镜像定制 第一种方式（手动修改容器镜像） 1.先下载centos镜像 [root@docker ~]# ...
canal-deployer canal-adapter镜像构建，部署
进行中
07-13 857
转载: docker化canal-adapter - 自然洒脱 - 博客园 (cnblogs.com)
Docker Canal-adapter 1.15
大海技术博客
10-10 1231
参考文档: canal同步mysql数据到es中docker搞不定就下载安装包直接安装配置再去研究即可去github下载自己想安装版本就行canal-1.1.6docker安装canal deployer admin adapter 过程中把conf配置目录同步到宿主机会出现容器崩溃的情况,建议把日志同步出来即可logs 启动 复制配置文件到容器外 启动容器 编辑application.yml 模板 java提示info级别的跳过即可
docker搭建canal-server和canal-admin
weixin_40715787的博客
07-31 5466
上面两步完成后，使用java的canal客户端进行连接，可以看到定时获取binlog的日志打印，如果监控的库有更新插入，则会有相应的日志打印出来，要注意的问题是，使用了admin客户端和server连接后，我们的java客户端在连接的时候不能使用之前用的明文的密码canal进行连接，需要使用密文。再次启动java的canal-client，可以看到连接成功，正在定时获取binlog，如果监听的库有表的插入或更新，客户端就会打印出来。确实有，在mysql里面看看日志，到这里mysql就配置好了！...
canal-adapter 1.1.7构建镜像
Ariswei的博客
09-26 915
canal-adapter 可以实现mysql表数据同步到ES的适配器，官方没有提供docker镜像，可自行构建镜像简单几步即可实现。
解决canaladaptor-1.1.7使用远程配置文件不生效的问题和用docker启动canal-adaptor
qq_41358574的博客
01-03 576
背景：canal-adaptor的配置文件有两种方式：一、直接使用本地配置文件的方式总配置文件 application.ymladapter定义配置部分二、使用远程配置的方式。使用canal_manager.sql脚本建表并初始化Demo数据，其中canal_config表id=2的数据对应adapter下的application.yml文件，canal_adapter_config表对应每个adapter的子配置文件修改bootstrap.yml配置。
canal 1.1.4 安装包合集，包括deployer admin adapter
04-09
国内下载GitHub上的安装包会失败或很慢。这里直接把安装包提供给大家，包括deployer,admin和adapter。
使用 Docker 部署 canal 服务实现MySQL和ES实时同步
UncleDong的博客
08-10 3043
由于Canal 1.1.4只能适配 ElasticSearch: 6.4.5，因此使用了上述的版本。Kibana选择 6.8.8是因为他可以用中文？但我没有配置成功。此外Kibana的6.8可以和ES6.4结合。其他情况下需要版本一一对应关于Kibana和ES的版本对应以及中文设置问题，可以参考Kibana 汉化相关配置 i18n 及版本问题Kibana将语言设置为中文Elasticsearch和Kibana版本对应关系。
Docker部署ES服务，canal全量同步的时候内存爆炸，ES/Canal Adapter自动关闭，CPU100%
UncleDong的博客
08-15 1347
如果discovery.type 设置为single-node，Elasticsearch 会形成一个单节点集群并不支持cluster.publish.timeout 设置的超时。discovery.seed_providers：指定种子主机提供程序的类型来获取用于启动发现进程的种子节点的地址。默认情况下，它是基于设置的种子主机提供程序，它从 discovery.seed_hosts 设置中获取种子节点地址。cluster.initial_master_nodes：设置全新群集中符合条件的主节点的初始集。
docker 安装部署 canal
m0_51431003的博客
03-24 1255
canal.properties 是 canal 的主要配置文件，用于配置 canal 实例的各项参数。该文件包含了连接 MySQL 数据库、消息队列、数据同步等相关的配置项。例如canal可以有多个instance，每个实例有独立的配置文件，默认只 有一个example实例。如果需要处理多个mysql数据的话，可以复制出多个example,对其重新命名， 命令和配置文件中指定的名称一致。
k8s集群下搭建数据同步工具-canal:canal-adapter篇
热门推荐
XUEJIA2S的博客
01-31 1万+
k8s集群下搭建数据同步工具-canal:canal-adapter篇前言容器化canal-adapter环境准备k8s集群创建podcanal-adapter 前言 canal-adapter的创建步骤就相对简单，主要是镜像的构建和同步相关配置的问题，后续会写一些adapter适配过程中遇到的坑，以及可能需要自己去改造的部分内容。 容器化 canal-adapter 环境准备 yum源文件 C...
canal 适配器说明
weixin_43931625的博客
07-04 3226
canal 适配器说明
Canal
qq_60309351的博客
07-31 159
（原因：mysql中未授权canal用户从canal容器IP访问）（确认canal容器能访问mysql）（网络、环境变量等）
DockerCompose方式部署Canal
weixin_45607741的博客
01-07 5168
主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。canal的工作原理就是把自己伪装成MySQL slave，模拟MySQL slave的交互协议向MySQL Mater发送 dump协议，MySQL mater收到canal发送过来的dump请求，开始推送binary log给canal，然后canal解析binary log，再发送到存储目的地，比如MySQL，Kafka，Elastic Search等等。canal的数据同步不是全量的，而是增量。
docker部署canal-adapter同步es
04-01
### 部署 Canal-Adapter 实现与 Elasticsearch 数据同步 为了通过 Docker 部署 Canal-Adapter 并实现 MySQL 表数据与 Elasticsearch 的同步，以下是详细的配置方法和最佳实践： #### 1. 准备工作 确保 `Dockerfile` 和 `canal.adapter-1.1.6.tar.gz` 压缩包位于同一目录下[^1]。进入目标路径并创建必要的挂载目录用于存储日志和其他文件。 ```bash cd /opt/canal mkdir -p /mydata/canal/logs ``` #### 2. 编写 Dockerfile 编写一个自定义的 Dockerfile 来构建 Canal-Adapter 容器镜像。以下是一个简单的示例： ```dockerfile FROM openjdk:8-jdk-alpine # 设置环境变量 ENV CANAL_HOME=/usr/local/canal \ PATH=$PATH:$CANAL_HOME/bin # 复制解压后的 canal.adapter 文件夹至容器内部 COPY canal.adapter-1.1.6 /usr/local/canal/ # 暴露端口 (默认为 8081) EXPOSE 8081 # 启动脚本 CMD ["sh", "/usr/local/canal/startup.sh"] ``` #### 3. 构建 Docker 镜像 执行以下命令来构建 Canal-Adapter 的 Docker 镜像： ```bash docker build -t canal-adapter . ``` #### 4. 启动 Elasticsearch 容器 如果尚未启动 Elasticsearch 容器，则可以按照如下方式运行它[^2]： ```bash docker run --name elasticsearch -p 9200:9200 -p 9300:9300 \ -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms128m -Xmx128m" \ -d elasticsearch:7.4.2 ``` 等待一段时间后确认其状态正常，并复制其中的内容到本地指定位置以便后续操作。 #### 5. 启动 Canal-Adapter 容器 使用之前构建好的镜像启动一个新的运河适配器实例: ```bash docker run --name canal-adapter \ -v /mydata/canal/logs:/usr/local/canal/logs \ -p 8081:8081 \ --link elasticsearch:elasticsearch \ -d canal-adapter ``` 这里我们利用 `-v` 参数指定了主机上的 `/mydata/canal/logs` 映射到了容器内的对应路径；同时通过 `--link` 将两个服务连接起来方便通信。 #### 6. 测试网络连通性 在实际环境中可能还需要额外检查两者之间的网络状况良好与否。可以通过下面这些工具来进行初步诊断[^5]: ```bash curl http://elasticsearch:9200/_cat/health?v ping elasticsearch wget -qO- http://elasticsearch:9200/ ``` 以上命令分别用来获取集群健康信息、探测延迟以及下载主页资源作为进一步验证手段之一。 #### 7. 查看运行情况 最后一步就是观察整个流程是否顺利完成。具体做法参照官方文档说明部分关于如何判断 adapter 是否成功启动的部分描述[^4]。 --- ###
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值