如何通过 CloudCanal 实现从 Kafka 到 AutoMQ 的数据迁移

01 引言

随着大数据技术的飞速发展，Apache Kafka 作为一种高吞吐量、低延迟的分布式消息系统，已经成为企业实时数据处理的核心组件。然而，随着业务的扩展和技术的发展，企业面临着不断增加的存储成本和运维复杂性问题。为了更好地优化系统性能和降低运营成本，企业开始寻找更具优势的消息系统解决方案。其中，AutoMQ [1] 作为一种基于云重新设计的消息系统，凭借其显著的成本优势和弹性能力，成为了企业的理想选择。

1.1 AutoMQ 介绍

AutoMQ 基于云重新设计了 Kafka，将存储分离至对象存储，在保持与 Apache Kafka 100% 兼容的前提下，为用户提供高达10倍的成本优势和百倍的弹性优势。AutoMQ 通过构建在S3上的流存储库 S3Stream，将存储卸载至云厂商提供的共享云存储 EBS 和 S3，提供低成本、低延时、高可用、高可靠和无限容量的流存储能力。与传统的Shared Nothing 架构相比，AutoMQ 采用了 Shared Storage 架构，显著降低了存储和运维的复杂性，同时提升了系统的弹性和可靠性。AutoMQ 的设计理念和技术优势使其成为替换企业现有 Kafka 集群的理想选择。通过采用 AutoMQ，企业可以显著降低存储成本，简化运维，并实现集群的自动扩缩容和流量自平衡，从而更高效地应对业务需求的变化。

1.2 CloudCanal 概述

CloudCanal [2] 是一款数据同步、迁移工具，帮助企业构建高质量数据管道，具备实时高效、精确互联、稳定可拓展、一站式、混合部署、复杂数据转换等优点。CloudCanal 支持数据迁移、数据同步、结构迁移和同步、数据校验和订正等功能，能够满足企业在数据管理过程中对于数据质量和稳定性的高要求。通过消费源端数据源的增量操作日志，CloudCanal 可以准实时地在对端数据源重放操作，以达到数据同步的目的。

1.3 数据迁移的必要性

在企业的日常运营中，数据系统的升级和迁移是不可避免的。例如，当企业的电商平台面临流量激增和数据量爆炸式增长时，现有的 Kafka 集群可能无法满足需求，导致性能瓶颈和存储成本的显著增加。为了应对这些挑战，企业可能决定迁移到更具成本效益和弹性的 AutoMQ 系统。在这种迁移过程中，全量同步和增量同步都是关键步骤。全量同步可以将 Kafka 中的所有现有数据迁移到  AutoMQ，确保基础数据的完整性。增量同步则在全量同步完成后，实时捕捉和同步 Kafka 中的新增和变更数据，确保在迁移过程中，两个系统之间的数据保持一致。接下来，我将以增量同步为例，详细介绍如何使用 CloudCanal 实现从 Kafka 到 AutoMQ 的数据迁移，确保数据在迁移过程中保持一致和完整。

02 前置条件

在进行数据迁移之前，需要确保以下前提条件已经满足。本文将以一个 Kafka 节点和一个 AutoMQ 节点为例，演示增量同步的过程。

1. Kafka 节点：一个已部署并运行的 Kafka 节点，确保 Kafka 节点能够正常接收和处理消息，Kafka节点的网络配置允许与 CloudCanal 服务通信。

2. AutoMQ 节点：一个已部署并运行的 AutoMQ 节点，确保 AutoMQ 节点能够正常接收和处理消息，AutoMQ 节点的网络配置允许与 CloudCanal 服务通信。

3. CloudCanal 服务: 已部署和配置好的 CloudCanal 服务。

03 部署 AutoMQ、kafka 以及 CloudCanal

3.1 部署 AutoMQ

参考 AutoMQ 官网文档: QuickStart | AutoMQ [3]

3.2 部署 Kafka

参考 Apache Kafka 官方文档：QuickStart | Kafka [4]

3.3 部署 CloudCanal

安装与启动

1.  安装基础工具

## ubuntu
sudo apt update
sudo apt install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
sudo apt-get install -y lsof
sudo apt-get install -y bc
sudo apt-get install -y p7zip-full

2.  下载安装包登录 CloudCanal 官方网站 [5]，点击下载私有部署版按钮，获取软件包下载链接。下载并解压到文件夹/opt/

cd /opt
# 下载
wget -cO cloudcanal.7z "${软件包下载链接}"
# 解压
7z x cloudcanal.7z -o./cloudcanal_home
cd cloudcanal_home/install_on_docker

install_on_docker目录内容包括

• 镜像: images 目录下四个 tar 结尾的压缩文件
• docker 容器编排文件: docker-compose.yml 文件
• 脚本：一些管理 CloudCanal 容器以及维护的脚本

 3.  准备 Docker 环境请确保以下端口未被占用

如果你没有 docker 和 docker compose 环境，可参考 Docker 官方文档 [6] (版本 17.x.x 及以上)。也可直接使用目录中提供的脚本进行安装：

## ubuntu,进入 install_on_docker 目录
bash ./support/install_ubuntu_docker.sh

4.  启动 CloudCanal，执行安装脚本以启动：

## ubuntu
bash install.sh

出现如下标识即安装成功