sinat_15793123的博客

目录准备开始制作镜像编写测试应用发布应用测试checkpoint测试Savepoint准备前提已经有一定flink基础上一篇文章 环境搭建Demo运行 已经完成基础的Demo试跑接下来测试 精确一次 语义source 为kafkasink 为print主要测试算子状态和checkpoint、savepoint的情况开始阅读官网，可以知道很多Connector支持 精确一次 语义而且checkpoint和savepoint对于异常重试和重新发布对于数据不丢不重是很关键的基础配置结合上st

abc

前言目前各个公司都在使用基于myql为关系型数据存储，ES提供快速检索排序的数据查询流程。所以，在使用ES查询时，实时同步Mysql数据就成为了这一套检索流程的重中之重。设计思路使用mysqlbingLog解析工具，模拟slave做到binlog无丢失，实时获取数据变动 使用消息中间件kafka，rabbitmq等作为数据传输，暂存工具 使用流式数据处理工具，strom，spa...

首先下载hadoop.tar.gz官网地址http://hadoop.apache.org/releases.html我是用的是hadoop-2.7.6.tar.gz继续下载hadooponwindows-master.zip可以自行百度，或私信我需要安装java jdk配置JAVA_HOME 自行查找资源准备就绪 开始搭建配置HADOOP_HOME与JAVA_HOME同样配置方式将 hadoop...

maxwell可以模拟mysqlslave获取binlog，对binlog进行解析，变成json格式{"database":"taskcenter","table":"lts_admin_job_tracker_monitor_data","type":"insert","ts":1535090880,"xid":1555704593,&quot