实时数据同步

方案比较

	log解析	SQL查询
全库同步	是	否
影响生产库	否	是
同步约束条件	否	只能按数字型timestamp/主键id增量同步 (若直接用timestamp，需要修改源码)

• 两个方案的demo
  • binlog解析
  • SQL query
    • streamsets
    • flume&flume-ng-sql-source
• 方案三：Flink CDC

log解析=>数据同步

• Oracle：ogg
• MySQL：binlog解析

SQL查询=>数据同步

• streamsets
  • 基本操作
• flume

  • 方案

    • flume-ng-sql-source读取数据：DB，file， hdfs…
    • flume写入DB，hdfs
    • flume写入kafka后期再消费
    • docker试验

  • 实施

    • 安装flume[, kafka, zookepper]
    • 下载并生成flume-ng-sql-source的jar包
      • 前提：java and maven
      • 进入flume-ng-sql-source并执行mvn package
    • copy flume-ng-sql-source-{version}.jar到flume是lib下
      • flume