最近需要同步mysql数据到ES,参考了
https://blog.youkuaiyun.com/hatlonely/article/details/79945539
这篇文章,遇到几个问题
第一个是jdbc驱动路径
jdbc_driver_library => "../mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar"
这里用了相对路径,起始路径是logstash的安装目录,mysql-connector-java-5.1.46这个目录应该和logstash目录同级。
第二个问题是last_run_metadata_path
同步点文件在同步多表时需要为不同的表指定
不同的文件,否则会发生冲突,造成有的表不能导入。
第三个问题是如果mysql的表里正好有名为“type”的字段,而logstash的配置文件又正好没配置
document_type字段,那么在导入的时候会根据type字段分到ES不同的类型下(困惑了好一下),
指定document_type就不会了。