ES用logstash导入数据库,用其他字段做_id主键
ES版本: 6.2.1 logstash版本 6.2.1目的:一次偶然在把mysql数据同步到ES,同步时在不经意间在mysql修改了几数据信息,导致在同步的过程中,在ES中加入大量重复数据,但是因为主键是自动生成,所以存在主键不同,但是数据相同的数据,在项目展示测试中有很多相同数据。 解决方法之一就是把sql主键也应用到ES,即使重复添加,也只是报错,而不是加入大量重复数据。方式:配置了sql.config,开启了模板:------------------------------------
原创
2020-11-12 16:32:35 ·
2592 阅读 ·
1 评论