基于binlog实现数据加工处理

场景举例:

为了查询方便性，目前订单中存在好多冗余字段，例如用户昵称，但是当昵称对应表变化时候，好多同学可能就直接在修改昵称的地方手 动调用订单接口更新昵称，但这样不仅代码结构混乱而且耦合严重

使用说明:

下面举例过程只是基于单机简单示例，没有加任务线程池、并发考虑。例外个人建议如果是同步重要的数据不要用此种同步方式，用不好可 能存在丢数据风险，向我上面说的一些仅展示无业务用户的字段可以用此同步

具体使用

应用maven核心依赖，其他spring等依赖可以自己添加

 <!--binlog同步核心依赖-->
<dependency>
  <groupId>com.github.shyiko</groupId>
  <artifactId>mysql-binlog-connector-java</artifactId>
  <version>0.21.0</version>
</dependency>
 <!--mysql链接-->
<dependency>
  <groupId>mysql</groupId>
  <artifactId>mysql-connector-java</artifactId>
  <version>6.0.6</version>
</dependency>
<!--mysql解析-->
<dependency>
  <groupId>com.github.jsqlparser</groupId>
  <artifactId>jsqlparser</artifactId>
  <version>4.5</version>
</dependency>

下面是我举例说明具体实现代码，用户直接实现BizTableListener接口自定义自己想同步表逻辑即可，举例中我只放了些核心代码，具体代码已附件上传

代码

1.配置数据库信息

package com.data.binlog.config;

import lombok.Data;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.stereotype.Component;

@Data
@Component
@ConfigurationProperties(
        prefix = "binlog.datasource"
)
public class DataSourceConfig {

    private String url;

    private int port;

    private String username;

    private String passwd;

    private String db;

}

logging:
  config: classpath:log4j2/log4j2-dev.yml
binlog:
  datasource:
    url: mysql的地址
    db: 数据库
    port: 端口
    username: 用户名
    passwd: 密码

2.加载binlog配置信息

package com.data.binlog.config;

import com.data.binlog.listener.BinLogEventListener;
import com.github.shyiko.mysql.binlog.BinaryLogClient;
import com.github.shyiko.mysql.binlog.event.deserialization.EventDeserializer;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

import javax.annotation.Resource;

@Configuration
public class BinaryLogClientConfig {

    @Resource
    private BinLogEventListener binLogEventListener;
    @Resource
    private DataSourceConfig dataSourceConfig;
    @Bean
    public void BinaryLog() throws Exception{
        BinaryLogClient client = new BinaryLogClient(dataSourceConfig.getUrl(), dataSourceConfig.getPort(), dataSourceConfig.getUsername(), dataSourceConfig.getPasswd());
        EventDeserializer eventDeserializer = new EventDeserializer();
        client.setEventDeserializer(eventDeserializer);
        client.registerEventListener(binLogEventListener);
        client.connect();
    }

}

package com.data.binlog.listener;

import cn.hutool.core.util.ObjectUtil;
import com.data.binlog.config.DataSourceConfig;
import com.data.binlog.context.TableContext;
import com.data.binlog.listener.biz.BizTableRouteProcess;
import com.data.binlog.param.BinLogItem;
import com.data.binlog.param.ColumnInfo;
import com.github.shyiko.mysql.binlog.BinaryLogClient;
import com.github.shyiko.mysql.binlog.event.*;
import com.google.common.collect.Lists;
import com.google.common.collect.Maps;
import lombok.SneakyThrows;
import lombok.extern.slf4j.Slf4j;
import net.sf.jsqlparser.JSQLParserException;
import net.sf.jsqlparser.parser.CCJSqlParserUtil;
import net.sf.jsqlparser.statement.Statement;
import net.sf.jsqlparser.statement.alter.Alter;
import net.sf.jsqlparser.util.TablesNamesFinder;
import org.springframework.stereotype.Component;

import javax.annotation.Resource;
import java.io.Serializable;
import java.sql.*;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

/**
 * binlog监听主类
 */
@Component
@Slf4j