ES用logstash导入数据库，用其他字段做_id主键

波比尔

于 2020-11-12 16:32:35 发布

阅读量2.5k

点赞数 1

分类专栏：数据库基础 logstash 文章标签： elasticsearch

本文链接：https://blog.youkuaiyun.com/bobier_zhao/article/details/109646675

版权

ES版本： 6.2.1 logstash版本 6.2.1

目的：一次偶然在把mysql数据同步到ES，同步时在不经意间在mysql修改了几数据信息，导致在同步的过程中，在ES中加入大量重复数据，但是因为主键是自动生成，所以存在主键不同，但是数据相同的数据，在项目展示测试中有很多相同数据。解决方法之一就是把sql主键也应用到ES，即使重复添加，也只是报错，而不是加入大量重复数据。

方式：配置了sql.config，开启了模板：

----------------------------------------------模板---------------------------------------------------------

{
   "mappings" : {
        "course" : {
			"_source" : {
				"excludes" : [ "teachplan", "description", "content" ]
			},		 
			"properties" : {
				"content" : {
				   "analyzer" : "ik_max_word",
				   "type" : "text"
				},
				--------有很多配置，自行根据业务需要配置--------
				"end_time"