DataX 数据全量，增量同步方案

关于DataX 增量更新实现

注：参考来源文章

增量更新总体思路：从目标数据库读取一个最大值的记录，可以是DataTime 或者 RowVersion 类型，然后根据这个最大值对源数据库要同步的表进行过滤，然后再进行同步即可。

由于DataX 支持多种数据库的读写，一种相对简单并且可靠的思路就是：

1. 从csv 文件读取目标数据库上次抽取数据的一个最大值；
2. 动态修改json配置文件（增加过滤条件）；
3. 执行修改后的配置文件，进行增量同步；
4. 同步成功，将系统当前时间写入csv文件；

接下来就是shell 脚本来一步一步实现增量更新

增量更新shell 实现

图示如下：

我们的同步环境是从oracle 到 hive，由于dataX 无法从目的数据库(即hive)中读取值，因此改为从csv文件读取，
同样因为无法读取hive数据库内最大值，因此最大值，采用上次数据同步时间。我们要做的只是每次数据同步成功后把系统时间写入到对应的csv文件中（每个表对应一个csv文件）。

1. 数据同步json 配置文件

从oracle 同步到hive ,部分配置如下

例： oracle2hive_ods_s_jy_AB01.json

{
	"job": {
		"conten