小白的专栏

Flink 批量写入ES 异常 Caused by: java.io.IOException: request retries exceeded max retry timeout [30000]

项目中需要使用Spring Boot和Elasticsearch，es版本为6.7.2，需要发布版本了，凌晨一点，凌晨两点，三，四…第二天早上七点，发布失败了 T_T第一步：版本对应关系Spring Boot整合了ElasticSearch，只需要引入Spring Data Elasticsearch即可<dependency> <groupId>org.springframework.data</groupId> <artifactId>spr

在这记录下基本安装过程（仅供参考），本配置基于5.4.2版本，新版版配置类似，有些参数不同根据提示修改1.将对应版本的es rpm包上传到指定目录2.在指定目录下运行卸载:rpm -e elasticsearch安装rpm -ivh --replacefiles "es的文件名称"3.安装好过后创建es的数据和日志目录，目录可以自定义mkdir -p /elasticsearchmkdir -p /elasticsearch/datamkdir

记录下解决方法：es的健康状态yellow，并一直持续yellow，查看shards，存在UNASSIGNED分片首先查询： curl -XGET http://127.0.0.1:9200/_cat/shards | grep UNASSIGNED | sort可以看到所有的 UNASSIGNED分片Elasticsearch是有自动分配节点功能的，但一直没有分配成功，是什么原因导致的呢？我们首先来查看下es的自动分配功能curl -XGET http://127.0.0.1:9200/_

记录下es 查询差别前端时间做es聚合处理的时候需要对数量进行聚合统计，使用GET /index-*/_search?search_type=count 报错了{ "error" : { "root_cause" : [ { "type" : "illegal_argument_exception", "reason" : "No search type for [count]" } ], "type" : "ill

一、背景项目统一升级ELK，原来的版本已经不适配新的集群，需要升级elk版本，升级的过程中很多配置改变，记录下相关操作。这里只记录logstash的相关配置。二、相关配置我们都知道logstash配置文件的主要格式如下input { }filter {}output {} 原来项目使用的是2.3.4版本的logstash，升级到新版本后相关的配置发生了改变。2.3.4版本inputinput { kafka{ group_i

系统中需要按天和系统计算索引，但是日志中系统的名称大小写不一致，需求将大小写改为一致，记录下logstash字段如何进行大小写变换我们知道logstash提供了ruby的操作，Event APIlogstash event api 说明官网中的描述如下：Ruby Filter插件可以执行任何ruby代码并且处理事件数据filter { ruby { code => 'event.set("lowercase_field", event.get("message").downca

记录下如何进行定期清除或关闭ES索引~~我们都知道，ES索引处于open状态，就会占用内存+磁盘；如果将索引close，只会占用磁盘，当索引比较多的时候影响查询速度遇到的项目需求为按天建立索引，存储6个月的数据，保留两个月的热点数据方便删除6个月前的索引并且关闭两个月前的索引，脚本如下：默认参数为集群地址：http://127.0.0.1:9200删除几个月前：6关闭几个月前：2可以根据实际情况修改脚本或者添加对应的参数#/bin/bash#elastic地址DEFUALT_ELA

一、版本信息ElasticSearch版本：elasticsearch-5.4.2.rpmKibana版本：kibana-5.4.2-linux-x86_64.tar.gzlogstash版本：logstash-2.3.4.tar.gz（为了适配kafka0.8.2.2版本）二、时区简介地球总是自西向东自转，东边总比西边先看到太阳，东边的时间也总比西边的早。东边时刻与西边时刻的差值不仅要以时计，而且还要以分和秒来计算。为了照顾到各地区的使用方便，又使其他地方的人容易将本地的时间换算到别的地方时

elasticsearch 相关使用方法记录一、工具类package com.test.elastic.crud;import org.apache.http.HttpHost;import org.elasticsearch.action.index.IndexResponse;import org.elasticsearch.action.search.SearchResponse;import org.elasticsearch.action.support.WriteRequest;

记录下logstash kafka消费异常的问题叮~~，您的告警信息已到账，请查收最近开始使用ELK，日志已经上传到Kafka中，Logstash需要从Kafka读取数据，按找官网配置，运行切正常，告警是什么原因导致的呢？本地测试的时候也没有出现任何告警的情况。运行logstash./logstash -f logstash-2.3.4.conf -w 4 -b 2000 这是什么异常啊Kafka::Consumer caught exception: Java::JavaLang::Ille

前几天接到搭建ElasticSearch集群的任务，作为一个新手当然离不开百度的支持啦，开始着手查资料，改配置，不到一天就搭建起来集群（请忽略时间问题……），第一次么，不是那么熟练。稳定的运行了几天，突然接到我们负责人的电话，节点挂了（瑟瑟发抖中），什么情况？然后检查了集群状态curl -XGET 'http://127.0.0.1:9200/_cat/health?v'查看节点状态c...

记录下一些常见操作。。。#删除索引DELETE /my_index#修该es刷新间隔PUT /my_index/_settings{ "index" : { "refresh_interval" : "1s" }}