es同步海量数据方案

1.全量方案
把主键id当作游标
select a.* from table a where a.id>#{cursor} order by a.id asc limit 100
每次拿到最新的cursor传参下一次查询

2.增量方案
在全量的查询sql上加上更新时间。

select a.* from table a where a.id>#{cursor} and a.update_time between {start} and {end}
order by a.id asc limit 100

需要注意的是，这里的参数start 和 end 在一次完整的增量同步中是不变的，这样可以避免一些实时更新带来的问题，但数据的更新会有一点延迟。

即10点钟同步的时候 start 和 end 参数可以设为 8:00 到9：59
11点的时候进行增量同步的时候，的start 和 end 参数可以设为 9：58 到10：59
这样可以确保不会漏掉数据