（2）Canal管理后台在linux上部署

已于 2025-04-08 15:08:19 修改
阅读量753 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Canal 文章标签： 大数据
于 2022-12-14 17:50:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wzk153/article/details/128319689
本文档介绍了在Linux上部署Canal管理后台的详细步骤，包括背景介绍、前期准备、解压安装以及配置Canal.deployer集群。通过Canal-admin，用户可以方便地进行配置管理和节点运维。在部署过程中，需要确保具备Java环境，并正确赋予数据库相关权限。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.背景

canal-admin设计为canal组件提供了配置管理、节点运维等功能的WebUI操作界面，方便用户快速操作。

2.前期准备

先到官网https://github.com/alibaba/canal/releases/下载个canal.admin组件：

也可以输入shell脚本下载：
# 远程下载canal.admin
wget https://github.com/alibaba/canal/releases/download/canal-1.1.6/canal.admin-1.1.6.tar.gz
我是手动下载通过xftp等工具把二进制包上传到服务器目录/root/package中。java环境在上一个章节已经部署。

3.部署canal-admin管理后台

解压安装部署shell脚本命令如下：

# 新建canal.admin目录
mkdir /root/canal/canal.admin

# 切换到安装包目录
cd /root/package

# 解压canal.admin安装包到其目录
tar zxvf canal.admin-1.1.6.tar.gz -C /root/canal/canal.admin

# 可以先登录mysql使用命令或者手动创建初始化canal.admin管理后台相关表结构
# 登录mysql
mysql –u root –p
# 初始化canal.admin管理后台相关表结构
source /root/canal/canal.admin/conf/canal_manager.sql

# 编辑canal.admin配置
vi /root/canal/canal.admin/conf/application.yml
# 插入
i
{
# canal.admin管理后台数据库地址
address: 192.168.18.230:3306
# canal.admin管理后台数据库
database: ebs_material_dev
# 数据库登录用户名
username: root
# 数据库登录用户密码
password: Qwer.1234
}
# 保存退出
:wq

# 停止canal.admin组件
sh /root/canal/canal.admin/bin/stop.sh

# 启动canal.admin组件
sh /root/canal/canal.admin/bin/startup.sh

# 重启canal.admin组件
sh /root/canal/canal.admin/bin/restart.sh

# 关于canal.admin.passwd密码配置的说明，针对canal.admin.passwd，默认做了密码加密处理，这里的passwd是一个密文和canal-admin里application.yml里的密码原文做对应。密文的生成方式，请登录mysql，执行如下密文生成sql即可（记得去掉第一个首字母的星号）
select password('admin')

# 编辑canal.deployer的local配置文件，如果使用后台管理canal最后编辑该本地配置文件模板
vi /root/canal/canal.deployer/conf/canal_local.properties
# 插入
i
{
# 注册IP，指向当前canal.deployer组件IP，对应不同canal.deployer节点IP地址
canal.register.ip = 192.168.18.200
# canal管理后台地址
canal.admin.manager = 192.168.18.200:8089
# canal管理后台端口
canal.admin.port = 11110
# canal管理后台登录用户名
canal.admin.user = admin
# canal管理后台登录密码，经过密文的生成方式生成
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441
# 后台自动注册
canal.admin.register.auto = true
# canal后台配置的集群名称
canal.admin.register.cluster = DataSyncCluster
}
# 保存退出
:wq

# 如果防火墙有IP端口限制，请设置端口允许外部访问
firewall-cmd --permanent --zone=public --add-port=8089/tcp
firewall-cmd --permanent --zone=public --add-port=11110/tcp
firewall-cmd --permanent --zone=public --add-port=11112/tcp
# 防火墙重启
firewall-cmd --reload
# 查看端口是否允许外部访问
firewall-cmd --permanent --zone=public --query-port=8089/tcp
firewall-cmd --permanent --zone=public --query-port=11110/tcp
firewall-cmd --permanent --zone=public --query-port=11112/tcp
# 查看防火墙所有端口
firewall-cmd --zone=public --list-ports

# 停止canal.deployer组件
sh /root/canal/canal.deployer/bin/stop.sh local

# 启动canal.deployer组件
sh /root/canal/canal.deployer/bin/startup.sh local

# 重启canal.deployer组件
sh /root/canal/canal.deployer/bin/restart.sh local

# 命令用于连接文件并打印到标准输出设备上
cat /root/canal/canal.deployer/conf/canal_local.properties |grep canal.register.ip

# 如果想修改时序数据库H2更换成mysql数据库记录，可以执行如下脚本
# 创建元数据快照表
CREATE TABLE `meta_snapshot` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键',
  `gmt_create` datetime NOT NULL COMMENT '创建时间',
  `gmt_modified` datetime NOT NULL COMMENT '修改时间',
  `destination` varchar(128) DEFAULT NULL COMMENT '通道名称',
  `binlog_file` varchar(64) DEFAULT NULL COMMENT 'binlog文件名',
  `binlog_offest` bigint(20) DEFAULT NULL COMMENT 'binlog偏移量',
  `binlog_master_id` varchar(64) DEFAULT NULL COMMENT 'binlog节点id',
  `binlog_timestamp` bigint(20) DEFAULT NULL COMMENT 'binlog应用的时间戳',
  `data` longtext COMMENT '表结构数据',
  `extra` text COMMENT '额外的扩展信息',
  PRIMARY KEY (`id`),
  UNIQUE KEY `binlog_file_offest` (`destination`,`binlog_master_id`,`binlog_file`,`binlog_offest`),
  KEY `destination` (`destination`),
  KEY `destination_timestamp` (`destination`,`binlog_timestamp`),
  KEY `gmt_modified` (`gmt_modified`)
)  COMMENT='表结构记录表快照表';

# 创建元数据历史表
CREATE TABLE `meta_history` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键',
  `gmt_create` datetime NOT NULL COMMENT '创建时间',
  `gmt_modified` datetime NOT NULL COMMENT '修改时间',
  `destination` varchar(128) DEFAULT NULL COMMENT '通道名称',
  `binlog_file` varchar(64) DEFAULT NULL COMMENT 'binlog文件名',
  `binlog_offest` bigint(20) DEFAULT NULL COMMENT 'binlog偏移量',
  `binlog_master_id` varchar(64) DEFAULT NULL COMMENT 'binlog节点id',
  `binlog_timestamp` bigint(20) DEFAULT NULL COMMENT 'binlog应用的时间戳',
  `use_schema` varchar(1024) DEFAULT NULL COMMENT '执行sql时对应的schema',
  `sql_schema` varchar(1024) DEFAULT NULL COMMENT '对应的schema',
  `sql_table` varchar(1024) DEFAULT NULL COMMENT '对应的table',
  `sql_text` longtext COMMENT '执行的sql',
  `sql_type` varchar(256) DEFAULT NULL COMMENT 'sql类型',
  `extra` text COMMENT '额外的扩展信息',
  PRIMARY KEY (`id`),
  UNIQUE KEY `binlog_file_offest` (`destination`,`binlog_master_id`,`binlog_file`,`binlog_offest`),
  KEY `destination` (`destination`),
  KEY `destination_timestamp` (`destination`,`binlog_timestamp`),
  KEY `gmt_modified` (`gmt_modified`)
)  COMMENT='表结构变化明细表';

# 如果想修改时序数据库H2更换成mysql数据库记录，编辑canal服务配置修改如下
vi /root/canal/canal.deployer/conf/canal.properties
# 插入
i
{
# 开启mysql数据库记录元数据，ebs_material_dev是数据库名称
canal.instance.tsdb.url = jdbc:mysql://192.168.18.230:3306/ebs_material_dev?useUnicode=true&characterEncoding=UTF-8&useSSL=false
canal.instance.tsdb.dbUsername = root
canal.instance.tsdb.dbPassword = Qwer.1234
canal.instance.tsdb.spring.xml = classpath:spring/tsdb/mysql-tsdb.xml
}
# 保存退出
:wq

如果数据库ebs_material_dev的root账号权限不够，增删改查canal_manager数据库会报类似如下错误的：

Error[INSERT command denied to user 'canal'@'192.168.18.230' for table 'canal_node_server']

这时需要赋予权限：

GRANT SELECT, INSERT, UPDATE, DELETE, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'root'@'%';

登录后台管理需要初始化admin登录信息，在数据库ebs_material_dev下执行如下sql：

INSERT INTO `canal_user` VALUES (1, 'admin', '6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9', 'Canal Manager', 'admin', NULL, NULL, '2022-12-14 00:05:28');

账号：admin，密码：123456
登录界面如下：

4.Canal.admin设置Canal.deployer集群配置

管理后面设置canal.deployer集群配置流程如下：
●设置canal集群信息（因为在canal.deployer节点的canal_local.properties配置文件设置了集群名称为DataSyncCluster，所以这里也要对应设置同样集群名称）：

●设置canal.deployer节点canal.properties配置：
把之前配置好canal.properties信息拷贝一份过来就好，也可以手动设置。

 ●设置canal.deployer服务节点信息
假设你canal.deployer节点有三台，就配置三个节点信息，如此类推。

 ●设置canal.deployer服务节点实例信息
因为之前我们只设置监听example实例，所以把实例配置拷贝上来即可。

参考文献：
Canal-Admin-QuickStart https://github.com/alibaba/canal/wiki/Canal-Admin-QuickStart
Canal Admin Guide https://github.com/alibaba/canal/wiki/Canal-Admin-Guide
Canal Admin ServerGuide https://github.com/alibaba/canal/wiki/Canal-Admin-ServerGuide

Canal部署linux mysql同步数据
Bert_wei_ai的博客
03-30 1533
Canal部署linux mysql同步数据
linux使用tgz安装cloudcanal（绝大多数版本的linux都能装）
八月林城的博客
07-24 1592
需要将机器列表集群删掉。然后重新自己新建一个集群。地址: http://X.X.X.X:8111。账号: test@clougence.com。：这是因为有一个默认的机器列表，集群名称。密码: clougence2021。当等待上线成功后，点击启动。验证码: 777777。启动 console。
linux 安装 canal 的详细步骤
最新发布
David的博客
06-04 983
本文详细介绍了在Linux系统上安装阿里巴巴开源工具Canal的完整流程。主要内容包括：1) 环境准备，需安装JDK 8+并配置MySQL开启binlog及创建专用账号；2) 下载Canal发行包并配置实例参数；3) 启动服务并验证安装；4) 停止服务的方法。文章还提供了常见问题解决方案，如连接失败、权限不足和内存溢出等。通过遵循这些步骤，用户可以成功搭建Canal系统，实现MySQL binlog的增量订阅与消费功能。
linux系统下安装并配置canal
03-16 6769
canal官网下载地址：https://github.com/alibaba/canal 下载canal的压缩包 :canal下载 自己选择一个版本下载(ps:选择deployer的版本) 首先连接到linux,切换至root用户 使用canal要先开启mysql的Binlog写入功能,配置 binlog-format 为ROW模式,故须使用如下命令修改mysql的my.cnf中配置 vi /etc/my.cnf 在my.cnf配置中加入以下配置 log-bin=mysql-...
Linux安装canal
omnipotent_wang的博客
05-09 1519
Linux安装canal
（1）Canal在linux上搭建集群
wzk153的博客
12-14 613
官网https://github.com/alibaba/canal介绍，canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。从上述介绍我们可以简单认为Canal就是一个简单的增量数据同步工具。
如何在Linux上安装Canal同步工具
qq_46248151的博客
11-22 664
所用到的安装包链接：https://pan.baidu.com/s/1B1LxZUZsKVaHvoSx6VV3sA提取码：v7ta链接：https://pan.baidu.com/s/13RSqPinzgaaYQUyo9D8ZCQ提取码：v7ta。
mac m1 docker本地部署canal 监听mysql的binglog日志
weixin_55774961的博客
11-04 881
e canal.instance.master.address=mysql-1:3306 \ 因为加入了同一个网桥. 所以ip直接就是加入网桥的容器名.docker network connect heima mysql-1 ->容器的端口3306(不是宿主机的,踩过坑)-e canal.instance.dbPassword=canal \ 之前mysql创建了一个canal的账号密码。
docker-compose部署mysql+canal
程序员糖豆的博客
12-23 2152
这里写自定义目录标题一、背景二、需求三、环境四、实现步骤1、制作docker-compose文件2、部署mysql3、部署canal五、经历的弯路 一、背景 公司需要给运维的同事制作一套自动化部署的脚本，项目中使用了canal监听数据库做日志处理。 二、需求 通过部署文件能mysql数据库和canal容器搭建，并且canal能成功连接数据库 三、环境 操作系统：Linux ubuntu-18.04 docker：20.10.12 docker-compose：1.29.2 四、实现步骤 1、
Canal + Kafka 同步 MySQL 数据到 Redis
Zxdwr520的博客
02-23 1015
实现数据同步
Linux下Canal安装和使用.doc
06-10
Linux下Canal安装和使用
使用linux安装及配置canal
不知名博客
03-09 1681
文章目录安装与解压配置数据库配置canal配置 安装与解压 下载地址:https://github.com/alibaba/canal/releases/tag/canal-1.1.4 将压缩包放入linux的/usr/local/soft 文件夹中 解压到指定文件夹 mkdir /tmp/canal tar zxvf canal.deployer-1.1.4.tar.gz -C /tmp/canal 解压完成后，进入 /tmp/canal 目录，可以看到如下结构 配置 数据库配置 对于
Linux安装系列：Canal搭建并实时同步MySQL数据到ES
CancerKing的博客
12-10 1029
Linux安装系列：Canal搭建并实时同步MySQL数据到ES
Linux搭建Canal环境并投递至RabbitMq
qq_35040959的博客
12-11 807
根据官网流程标准搭建canal环境并投递mq
Linux下宝塔Canal解决Mysql和Redis数据同步问题
刘登辉的博客
09-24 795
最近有一个项目，配置文件，如果用mysql怕压力大，一直用的Redis，用Redis虽然解决了读的问题，但是修改的话也要单独写配置，同时在其他环境配置也不方便保存，为此找了mysql和redis同步方案Canal。网上都有介绍Canal的教程，我就不过多叙述了，直接将部署的方案记录一下。
Linux Canal 安装
m0_63290245的博客
12-13 521
Linux Canal 安装
linux centos 安装部署单例canal
qq_22049773的博客
09-30 471
1、使用canal要先开启mysql的Binlog写入功能,配置 binlog-format 为ROW模式,故须使用如下命令修改mysql的my.cnf中配置 vi /etc/my.cnf 在my.cnf配置中加入以下配置 log-bin=mysql-bin # 开启 binlog binlog-format=ROW # 选择 ROW 模式 server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复 2、重启mysql ..
linux 部署canal 同步数据到rabbitmq
06-12
Canal 是阿里巴巴开源的一款 MySQL 数据库 binlog 增量订阅&消费组件，可将 MySQL 数据库的增量数据同步到其它数据存储介质中，如 RabbitMQ。 以下是部署 Canal 同步数据到 RabbitMQ 的步骤： 1. 安装 RabbitMQ 在 Linux 上安装 RabbitMQ，可以参考官方文档：https://www.rabbitmq.com/install-debian.html 2. 安装 Canal 可以从官方 Github 下载 Canal：https://github.com/alibaba/canal 3. 配置 Canal 在 Canal 的 conf 目录中，有两个配置文件需要修改：instance.properties 和 canal.properties。 instance.properties 配置 MySQL 数据库的连接信息，如下所示： ``` canal.instance.master.address=127.0.0.1:3306 canal.instance.master.journal.name=mysql-bin.000001 canal.instance.master.position=4 canal.instance.dbUsername=root canal.instance.dbPassword=123456 canal.instance.connectionCharset=UTF-8 ``` canal.properties 配置 Canal 的基本信息，如下所示： ``` canal.serverMode = tcp canal.tcp.port = 11111 canal.instance.enable.druid=false canal.instance.filter.regex=.*\\..* canal.instance.filter.black.regex=.*\\..*_bak,mysql.* ``` 其中，canal.tcp.port 是 Canal Server 监听的端口号。 4. 配置 RabbitMQ 创建一个名为 canal 的 RabbitMQ Exchange，并创建一个名为 canal 的 RabbitMQ Queue，将 canal Exchange 绑定到 canal Queue 上。 5. 启动 Canal 在 Canal 的 bin 目录中，执行以下命令启动 Canal： ``` sh startup.sh ``` 6. 启动 RabbitMQ Consumer 在 RabbitMQ Consumer 中，监听 canal Queue 中的消息，将消息写入到目标数据存储中。 以上是部署 Canal 同步数据到 RabbitMQ 的基本步骤，具体可根据实际情况进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值