Mysql 数据实时同步hbase

最新推荐文章于 2025-10-29 14:37:41 发布

原创

最新推荐文章于 2025-10-29 14:37:41 发布 · 6.4k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#java #canal #hbase #实时同步

本文介绍了如何利用Canal监控MySQL数据变化，并实现数据实时同步到HBase。首先，讨论了选择Canal的原因，然后详细说明了Canal的安装步骤。接着，概述了项目整体架构，包括离线同步的部分。最后，提供了主要代码及项目代码的GitHub和优快云下载链接。

一、前言

要实时同步数据，首先要能实时的监控到数据库数据的变化，可以使用canal、Maxwell 等工具完成。我选用canal，因为它更灵活，更合格我的项目需求。

二、通过canal监控数据库数据变化

Canal安装教程：https://www.aliyun.com/jiaocheng/1117575.html

三、项目整体架构

项目整体架构、离线同步：https://blog.youkuaiyun.com/beyond_qjm/article/details/83623738

四、主要代码

import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry;
import com.alibaba.otter.canal.protocol.CanalEntry.*;
import com.alibaba.otter.canal.protocol.Message;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.util.Bytes;
import qjm.data.synch.hbase.HbaseSerialization;
import qjm.data.synch.hbase.HbaseUtils;
import qjm.data.synch.modle.Employee;
import qjm.data.synch.service.SqlDataService;

import java.io.IOException;
import java.net.InetSocketAddress;
import java.util.List;

/**
 * 实时同步数据
 */
public class OnlineSynch {
    static final Log LOG = LogFactory.getLog(OnlineSynch.class);

    SqlDataService sqlDataService = new