soso的博客

前言官方文档地址7.8版本正文ILM定义了四个生命周期阶段：Hot：正在积极地更新和查询索引。Warm：不再更新索引，但仍在查询。cold：不再更新索引，很少查询。信息仍然需要可搜索，但是如果这些查询速度较慢也可以。Delete：不再需要该索引，可以安全地将其删除。ILM定期运行（indices.lifecycle.poll_interval），默认是10分钟，检查索引是否符合策略标准，并执行所需的任何步骤。为了避免争用情况，ILM可能需要运行多次以执行完成一项动作所需的所有步骤。所以，即

前言索引模板定义了 在创建新索引时可以自动应用的设置和映射。这里来介绍下索引模板的使用。官网文档入口：https://www.elastic.co/guide/en/elasticsearch/reference/7.8/index-templates.html正文注意：7.8版本以后使用_index_template ，_component_template 来代替 _template。文中出现的旧模板指的就是 _template。但是用法还是一致的。其它注意点：1.索引模板仅在创建索引期间

前言7.0以后es把基础的安全模块免费集成了。很棒。现在试试设置吧。官网安全模块文档其中包含了一个安全入门教程正文下面基本都是以我的操作为例，实际上可以按照官网文档进行其它的尝试。一、设置账号密码单节点在elasticsearch.yml文件里增加配置xpack.security.enabled: truexpack.security.transport.ssl.enabled: true初始化密码需要在es启动的情况下进行设置，按照提示输入各个内置用户的密码。[esuser@lo

前言今天遇到一个问题，es里有个date字段，存储的是2020-12-28T16:16:22.000Z日期+时间，现在有个查询任意时段内的数据，不考虑日期，例如，查询08:10:00到18:00:00之间的数据。这种情况下，可以使用script进行查询或过滤。正文官方文档地址：https://www.elastic.co/guide/en/elasticsearch/reference/7.10/query-dsl-script-query.html查询语句：{ "query": {

前言今天遇到一个问题，场景是，logstash通过grok自定义正则的形式取到时间字段，保存进es的时候输出的映射时text，但想要的是date类型。正文匹配到的时间字段是这样的：2020-12-31_13-49-22, 不是正常形式的时间。解决办法也很简单的：对于时间来说，有个date插件是可以转换各种时间格式的，它默认是把结果覆盖到@timestamp上的，这里我们把它输出回字段本身，如下：grok { match => {"message" => "(?<time&g

前言今天有人问了一个问题，在输出es追加后缀的时候，想用数据里面的字段，但是又不想保存改字段到es。正文这里用到的是metadata,官网其实有一个示例：是我们需要把数据入到不同的索引中，同时我们也不想在es里多保存一个字段，filter { if [log_type] in [ "test", "staging" ] { mutate { add_field => { "[@metadata][target_index]" => "test-%{+YYYY.

前言之前在没有创建索引模板的时候，直接通过logstash往es里塞数据，其中一些字段的类型并不符合我们需要，这个时候就需要去修改字段的映射类型了。正文es不支持直接修改字段类型，解决思路：新建临时索引，执行字段类型，复制数据删除旧索引，重建同名索引，从临时索引复制数据#获取旧索引的字段映射GET /users/_mapping#创建临时索引带映射PUT /users_temp{ "mappings": { "user": { "properties": {

前言es集群搭建完以后，少不了部分节点的维护重启。正文停机维护时操作步骤1、关闭分片分配此操作会停止所有的分片动作，以及分片的数据移动。PUT _cluster/settings{ "transient": { "cluster.routing.allocation.enable": "none" }}2、执行同步刷新POST _flush/synced3、关闭自动平衡(重要)这一项很重要，如果配置了关闭分片分配，没有关闭自平衡，也会在打开分片分配之后出现集群自平

前言前面已经搭建好es,现在开始简单的尝试吧。呃。。这里我们使用kibana，它可以让我们尝试api的时候更方便，而且它还支持更多。在其它的文章里对kibana已经有了介绍和安装，这里我们直接开始。正文查询集群状态GET _cluster/health?prettyGET _cat/health?v这两个返回的内容差不多，只不过展示形式不一样。后面的参数v,pretty都是为了让结果展示更符合人类阅读的。返回信息主要包含 集群名称，集群状态，节点数，可用的主分片，副本分片，未分配的分片数等

前言最近公司开始尝试es进行一些查询统计，其实自己在之前有过两次es尝试经验，但是对es的相关了解还是不够深入详细。这里的文档是自己根据官网文档，网上各位前辈大佬已经总结过的经验知识，结合自己目前的尝试进行记录总结，也希望能带给其他人一些借鉴。正文目前最新的版本是7.10，我使用的版本是7.8，所以文档基本是以7.8为基准。刚开始写，时间也不稳定，希望大家一同进步。官网文档入口：https://www.elastic.co/guide/index.html各分入口：Elasticsearc

前言官网文档地址：https://www.elastic.co/guide/en/elasticsearch/reference/current/multi-index.html官网文档其实很详细的，大家可能没有时间或精力去详细的阅读。目前最新的是7.10，我使用的版本是7.8。正文多目标语法大部分使用, , 的请求都支持多目标语法。例如，我们可以传递多个索引: test1,test2,test3，也可以使用通配符（*）去匹配符合条件的目标，比如 test* 或者 *test 或者 te*t

前言今天看到有人问logstash往es里面塞日志数据时，配置文件应该怎么写，并贴了一段日志记录和想保留的字段，这里简单介绍下配置文件里grok里自定义正则相关。正文首先，grok本身就以为预定义了很多正则表达式提供使用，附上链接：https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns确实需要自定义的可以按照(?<>()) 的格式自己写正则，举例：匹配

前言es安装 （Elastic 中国社区官方博客）正文我是直接下载的7.8的tar进行安装的。1.解压[root@localhost opt]# ll总用量 311636-rw-r--r--. 1 root root 319112561 12月 21 20:50 elasticsearch-7.8.0-linux-x86_64.tar.gz[root@localhost opt]# tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz[roo