datax从mysql同步数据到elasticsearch（使用es的动态模板）

最新推荐文章于 2025-09-06 14:57:17 发布

原创

最新推荐文章于 2025-09-06 14:57:17 发布 · 3.2k 阅读

8 ·

CC 4.0 BY-SA版权

本文介绍如何在Elasticsearch中设置动态模板，包括模板的优先级、匹配模式及字段映射等，并详细展示了DataX同步脚本配置，实现MySQL数据向Elasticsearch的高效同步。

elasticsearch中设置动态模板

PUT _template/hkey_transferbill
{ 
  "order":0 //order表示模板的优先级，值越大优先级越高，索引如果匹配了多个模板，则会根据优先级从低到高依次使用模板，高优先级会覆盖低优先级
  "index_patterns": "*", //模板可以匹配的索引，可以使用通配符
  "settings": {
    "number_of_shards": 2,
    "number_of_replicas": 1
  },
  "mappings": {
    "data":{
      "dynamic_templates" : [ {  
        "keyword_field" : {  
          "unmatch" : "*Name",  
          "match_mapping_type" : "string",  
          "mapping" : {  
            "type" : "keyword"
          }  
        }  
      }, {  
        "text_fields" : {  
          "match" : "*Name",  
          "match_mapping_type" : "string",  
          "mapping" : {  
            "type" : "text",
            "fields": {
              "raw": {
                "type": "keyword"
              }
            }
          }  
        }  
      } ],  
      "properties": {
        "rowkey":
        {
          "type":"keyword"
        },
        "age":
        {
          "type":"keyword"
        }