elasticsearch default template

最新推荐文章于 2025-11-03 00:15:00 发布
原创 最新推荐文章于 2025-11-03 00:15:00 发布 · 2.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch #template

本文详细介绍了 Logstash 索引模板的配置方法，包括索引的刷新间隔设置、字段映射规则、不同数据类型的处理方式等。通过具体示例展示了如何为收集到的数据设定合理的存储结构。

{

    "logstash": {

        "order": 0,

        "template": "logstash-*",

        "settings": {

            "index": {

                "refresh_interval": "5s"

            }

        },

        "mappings": {

            "_default_": {

                "dynamic_templates": [

                    {

                        "message_field": {

                            "mapping": {

                                "fielddata": {

                                    "format": "disabled"

                                },

                                "index": "analyzed",

                                "omit_norms": true,

                                "type": "string"

                            },

                            "match_mapping_type": "string",

                            "match": "message"

                        }

                    },

                    {

                        "string_fields": {

                            "mapping": {

                                "fielddata": {

                                    "format": "disabled"

                                },

                                "index": "analyzed",

                                "omit_norms": true,

                                "type": "string",

                                "fields": {

                                    "raw": {

                                        "ignore_above": 256,

                                        "index": "not_analyzed",

                                        "type": "string",

                                        "doc_values": true

                                    }

                                }

                            },

                            "match_mapping_type": "string",

                            "match": "*"

                        }

                    },

                    {

                        "float_fields": {

                            "mapping": {

                                "type": "float",

                                "doc_values": true

                            },

                            "match_mapping_type": "float",

                            "match": "*"

                        }

                    },

                    {

                        "double_fields": {

                            "mapping": {

                                "type": "double",

                                "doc_values": true

                            },

                            "match_mapping_type": "double",

                            "match": "*"

                        }

                    },

                    {

                        "byte_fields": {

                            "mapping": {

                                "type": "byte",

                                "doc_values": true

                            },

                            "match_mapping_type": "byte",

                            "match": "*"

                        }

                    },

                    {

                        "short_fields": {

                            "mapping": {

                                "type": "short",

                                "doc_values": true

                            },

                            "match_mapping_type": "short",

                            "match": "*"

                        }

                    },

                    {

                        "integer_fields": {

                            "mapping": {

                                "type": "integer",

                                "doc_values": true

                            },

                            "match_mapping_type": "integer",

                            "match": "*"

                        }

                    },

                    {

                        "long_fields": {

                            "mapping": {

                                "type": "long",

                                "doc_values": true

                            },

                            "match_mapping_type": "long",

                            "match": "*"

                        }

                    },

                    {

                        "date_fields": {

                            "mapping": {

                                "type": "date",

                                "doc_values": true

                            },

                            "match_mapping_type": "date",

                            "match": "*"

                        }

                    },

                    {

                        "geo_point_fields": {

                            "mapping": {

                                "type": "geo_point",

                                "doc_values": true

                            },

                            "match_mapping_type": "geo_point",

                            "match": "*"

                        }

                    }

                ],

                "_all": {

                    "omit_norms": true,

                    "enabled": true

                },

                "properties": {

                    "@timestamp": {

                        "type": "date",

                        "doc_values": true

                    },

                    "geoip": {

                        "dynamic": true,

                        "type": "object",

                        "properties": {

                            "ip": {

                                "type": "ip",

                                "doc_values": true

                            },

                            "latitude": {

                                "type": "float",

                                "doc_values": true

                            },

                            "location": {

                                "type": "geo_point",

                                "doc_values": true

                            },

                            "longitude": {

                                "type": "float",

                                "doc_values": true

                            }

                        }

                    },

                    "@version": {

                        "index": "not_analyzed",

                        "type": "string",

                        "doc_values": true

                    }

                }

            }

        },

        "aliases": {}

    }

}

ElasticSearch第十六讲 ES 索引模板Index Template与Dynamic Template
程序员路同学
04-22 1534
ElasticSearch第十六讲 ES 索引模板Index Template与Dynamic Template
【ElasticSearch入门】6、Index Template和Dynamic Template
Zangjiji的博客
05-21 605
【ElasticSearch入门】6、Index Template和Dynamic Template 集群上的索引会越来越多，例如，你会为日志每天创建个索引 使用多个索引可以让你的更好的管理的你数据，提高性能 一、Index Template Index Templates 帮助你设定 Mapping 和 Settings，并按照一定的规则，自动匹配到新创建的索引之上 模板仅在一个索引被新创建时，才会产生作用。修改模板不会影响已创建的索引 可以设定多个索引模板，这些设置会被 merge 在一起 可以指定 o
Elasticsearch之Template详解_elasticsearchtemplate(1)
2401_87378753的博客
09-21 1393
} } put _template/template_test { “index_patterns”:[“template*”], “order”:1, “settings”:{ “number_of_shards”:1, “number_of_replicas”:3 }, “mappings”:{ “date_detection”:false, “numeric_detection”:true } } put template_index2 get template_index2 { “template_
elasticsearch中template介绍
重思考，勤总结
11-05 1万+
template中规定了数据的存储格式、分片数量等信息，下边是一个elasticsearch中template例子： http://192.168.1.215:9200/_template/content_tpl PUT { "template" : "content_*", "settings" : { "number_of_shards" : 1
elasticsearch template配置使用
最新发布
onlymscn的博客
11-03 1185
是一种预定义的索引配置方案。它可以在创建索引时自动应用指定的 mapping（字段类型、分词器等）、settings（分片数、副本数等）、别名等参数，确保所有符合模板规则的新索引都遵循统一的结构和配置。批量管理类似结构的索引（如日志、订单、用户行为等）实现自动化运维和规范化数据建模降低手动建索引和配置错误的风险Elasticsearch Template 是实现索引结构和配置自动化的关键工具。合理设计和管理模板能让你的 Elasticsearch 集群更高效、更规范、更易扩展。
Elasticsearch之_default_—— 为索引添加默认映射
xingoo
12-03 449
前篇说过，ES可以自动为文档设定索引。但是问题也来了——如果默认设置的索引不是我们想要的，该怎么办呢？ 要知道ES这种搜索引擎都是以Index为实际的分区，Index里面包含了不同的类型，不同的类型是逻辑上的分区；每种类型可能包含有相同的字段，如果字段的类型相同还好，如果不同....那就会导致字段的冲突了。 本篇就讲述如何使用REST API以及Logstash设置默认的索引。 ...
Elasticsearch 模板
weixin_30681615的博客
04-08 1582
创建模板 PUT _template/template_1 { "template": "test_roll_index*", "settings": { "number_of_shards": 1 }, "mappings": { "type1": { "_source": { "enabled": f...
elasticsearchTemplate
01-20
添加索引 elasticsearchTemplate.createIndex(“索引名称”); 删除索引 elasticsearchTemplate.deleteIndex(“索引名称”); 创建索引类型（相当于创建表中数据字段及类型） elasticsearchTemplate.putMapping(Sku.class); 这个对象，所有字段需要加上@Field标注，然后给与对应的类型，类似 @Field(analyzer = ik_max_word, searchAnalyzer = ik_smart, type = FieldType.Text, store = true)
elasticsearch7 Template
哇哦~
09-26 1487
什么是Index Template 1.template_default 每个索引被创建都会按照如下设置， 主和副本集分片数都是1 2.template_test 匹配test* 的索引 会按照如下设置，主分片数是1，副分片数是2 同时启用图中的mappings Index template的工作方式 Dynimic Template ...
elasticsearch mapping和template解析(自动分词)！
专注深耕linux、容器云原生、运维自动化等方向
08-13 1382
摘要：本文介绍了使用ELK分析Nginx日志时遇到的URL路径分词问题及解决方案。
defaulttemplate
06-15
练习 Sublime Text tmLanguage
elasticsearch之search template
无风听海
01-19 1836
elasticsearch提供了search template功能，其会在实际执行查询之前，对search template进行预处理并将参数填充到template中。我们新建id为search_template_test.match_name的search template，其主要是查询match 字段name；执行search template也支持使用profile来调试查看elasticsearch的查询执行情况；_search/template使用search template进行搜索；
ElasticSearch索引模板（template）操作：创建、查询、修改、删除
учёба
01-17 1万+
官方文档链接：https://www.elastic.co/guide/en/elasticsearch/reference/6.6/indices-templates.html 一：概述 可以按下面几种方式理解索引模板： 避免每次在创建索引库的时候，都需要手工指定每个索引库的配置信息；索引可以使用索引模板（index template）进行创建，在新建索引时需要进行模板设置包括settings和mappings，通过模式匹配可使多个索引重复使用一个模板。 将已经创建好的某个索引的参数设置(sett
Elasticsearch之Template详解_elasticsearchtemplate，作为一个软件测试程序员
2401_84265519的博客
04-17 2550
上面我们讲了Index Template，主要是在创建索引的时候，来根据template的统配规则，确定当前创建的索引是否符合，从而将template里面的配置信息应用在我们新创建的索引中，通常应用于要生成相同配置的索引场景下，比如日志数据管理、统一索引管理等。主要是应用于具体的索引中去的，定义在某个索引的mapping设置中，会根据我们设定的数据类型，匹配一些设定的规则，来动态设定字段类型。这个模板的，但是由于我们在创建索引的时候指定了分片和副本的信息，所以以我们指定的为准。“middle”:“大”,
ElasticSearch之Index Template 和Dynamic Template
wang0907的博客
02-19 2012
在一文中我们一起看了es的dynamic mapping机制，通过该机制允许我们不需要显式的定义mapping信息，而是es根据插入的文档值来其中firstName和lastName会被映射为text类型，并自动添加keyword类型的,loginDate因为数据格式符合日期类型被自动映射为date类型。考虑这样的需求，我们不希望给text类型的字段自动应用多字段，即增加keyword类型的子字段，并且我们也不希望当插入的数据时日期类型时不要映射为date类型，该怎么做呢？
ElasticsearchTemplate 使用
weixin_50694701的博客
05-14 4203
一、背景 最近在学习 es 和 java 的整合，整合过程中发现一些查询语句不知道怎么用 java 写，网上也查不到比较全面的，所以就自己整理了下，便于后续查阅。 二、准备环境 2.1 环境信息 框架 版本号 备注 springboot 2.2.6.RELEASE Elasticsearch 7.1.0 单机，非集群 2.2 搭建 springboot 环境 maven 配置中需要引入以下 jar 包： <dependency> <groupId>org
Elasticsearch之Template详解
weixin_44692700的博客
12-26 8859
Elasticsearch之Template详解一、Index Template示例1示例2示例3二、Dynamic Template示例1 在ES中我们可以通过设置Index Template和Dynamic Template来更好的为我们管理和设置索引和mapping。 一、Index Template 比如一个我们需要使用ES来做日志管理，我们都知道日志的数据量是十分庞大的，如果使用单个索引来保存所有日志数据的话，可能会存在一些性能问题。我们可以通过按天或月来自动生成index，这时候我们就可以用到I
ElasticsearchTemplate的详细使用，完成多条件查询、匹配度查询等
热门推荐
qq_16436555的博客
07-02 2万+
ElasticsearchTemplate是Spring对ES的java api进行的封装，提供了大量的相关的类来完成各种各样的查询。在日常的使用中，应该说最常用的查询就是queryList方法。 public <T> List<T> queryForList(SearchQuery query, Class<T> clazz) { return...
"reason" : "unable to remove composable templates [my_default_template] as they are in use by a data streams [.logs-deprecation.elasticsearch-default, .slm-history-5, ilm-history-5]"
09-19
要解决无法移除可组合模板 `[my_default_template]` 因为它正被数据流 `[.logs-deprecation.elasticsearch-default, .slm-history-5, ilm-history-5]` 使用的问题，可采用以下方法。 ### 1. 解除模板与数据流的关联 可以创建新的索引模板，让这些数据流不再使用 `my_default_template`。首先，需要查看当前索引模板的配置，然后创建新模板来覆盖原模板的设置。 ```python # 查看当前模板配置，使用 Elasticsearch Python 客户端 from elasticsearch import Elasticsearch es = Elasticsearch() response = es.indices.get_template(name="my_default_template") print(response) ``` 接着，创建新的索引模板，确保新模板覆盖 `my_default_template` 对这些数据流的设置。 ```python # 创建新的索引模板 new_template_body = { "index_patterns": [".logs-deprecation.elasticsearch-default", ".slm-history-5", "ilm-history-5"], "template": { "settings": { # 这里可以设置新的索引设置 "number_of_shards": 1, "number_of_replicas": 1 }, "mappings": { # 这里可以设置新的映射 } } } es.indices.put_template(name="new_default_template", body=new_template_body) ``` ### 2. 停用数据流对模板的依赖 如果想让数据流完全不依赖任何模板，可以停用数据流的模板设置。 ```python # 停用数据流的模板设置 for data_stream in [".logs-deprecation.elasticsearch-default", ".slm-history-5", "ilm-history-5"]: es.indices.put_settings( index=data_stream, body={ "index": { "template": None } } ) ``` ### 3. 移除可组合模板 当确保数据流不再依赖 `my_default_template` 后，就可以移除该模板。 ```python # 移除可组合模板 es.indices.delete_template(name="my_default_template") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值