锅炉房刘大爷的博客

actions = []# 更新某条数据，doc内是需要更新的字段action = { "_op_type": "update", "_index": "index_name", "_type": "_doc", "_id": 'doc_id', "doc": { "name": 'lilei', "age": 10 }}actions.append(action)# 插入新数据，_source里是插入的数据的所有字.

最近在鼓捣将mysql数据推送到es中，看了常见的一些方法，例如用binlog同步数据的方式，但是原数据加在一起能有好几个T，所以一开始就没有启用binlog，最后没办法，还是通过去mysql查询的方式，一点点从mysql同步到es中。下面简单记录一下整个同步过程中做了哪些工作。首先是处理源文件，如果源文件是压缩文件，则需要解压tar -xzvf a.tgz或者批量解压当前文件夹下的压缩文件find -maxdepth 1 -name "*.tgz"|xargs -i tar xzvf {}