克隆大菠萝的超市

一.背景今天收到告警短信发现某个业务系统几台服务器的日志收集服务filebeat均已下线，把filebeat都重启之后，准备到Kibana查阅业务系统的日志，检索异常条目，发现从凌晨开始的日志条目都没有，今天的索引也没有建成，查看集群监控，发现elasticsearch集群状态为red，也无法继续使用和写入数据，于是开始着手排查故障。二.系统环境：所使用集群架构组件及版本信息如下：操作系统OS版本：CentOS Linux release 7.9.2009 (Core)名称 版...

所使用集群架构组件及版本信息如下：名称 版本号 filebeat 7.10.0 kafka 2.4.1 zookeeper 3.5.7 logstash 7.5.2 elasticsearch 7.5.2 kibana 7.5.2

首先接入测试环境中进行适配测试，确认无误后，根据生产环境上线安排或做重启操作，最后完成生产环境的接入。以下是通用接入步骤，使用正式环境部署路径，截图为例：(一) 以下步骤和操作仅针对java项目，根据日志引擎输出的日志格式，使用log4j或者log4j2的配置文件为模板，和研发人员协商进行日志改造，改造完毕后重启应用，确认输出新格式的日志，整改前的旧日志删除掉或者移动到其他目录作为归档（生产和测试适用）。准备先接入到ELK测试环境。(二) 编辑logstash配置文件，加入新项目的配置：v.

一.背景本来打算采用Redis作为消息缓存，当日志数据量较小的时候，处理速度要优于Kafka技术，但针对数据量大并发的时候性能却表现不佳，无法应对吞吐量大的情况。采用Kafka作为消息队列缓存，支持分布式计算，可以多个Kafka节点同时处理信息，能有效解决数据量大并发的问题，拥有很高的吞吐量，单台支持每秒10万条数据以上的处理速率。由于项目较多，所有系统一天产生的日志总量保守估计有千万级别，采用Kafka作为ELK平台的缓存技术较为合适。二.操作系统环境和软件版本介绍操作系统版本：CentOS.

(1) 首先下载软件包(采用二进制包，非编译安装)：Filebeat：https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.10.0-x86_64.rpm(2) 使用以下命令安装，下载的安装包路径以/data/filebeat-7.10.0-x86_64.rpm为例rpm -ivh /data/filebeat-7.10.0-x86_64.rpm(3) 默认配置文件位置为/etc/filebeat/filebeat.

(1) 首先下载软件包(采用二进制包，非编译安装)：Kibana：https://artifacts.elastic.co/downloads/kibana/kibana-7.5.2-linux-x86_64.tar.gz(2) 解压Kibana安装包，解压路径以/data/kibana为例，下同，编辑解压文件中的config/kibana.yml配置文件，添加或调整以下配置：#Kibana从6.7.0开始，可以通过修改kibana.yml中的配置项i18n.locale: "zh-CN"，然后

(1) 首先下载软件包(采用二进制包，非编译安装)：Elasticsearch：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.2-linux-x86_64.tar.gz(2) 解压Elasticsearch安装包，解压路径以/data/elasticsearch为例，下同，编辑解压文件中的config/elasticsearch.yml配置文件，添加或调整以下配置：#elasticsearch集群名称

(1) 首先下载软件包(采用二进制包，非编译安装)：Logstash：https://artifacts.elastic.co/downloads/logstash/logstash-7.5.2.tar.gz(2) 解压Logstash安装包，编辑解压文件中的config/logstash.yml配置文件，添加或调整以下配置：#每次发送的事件数pipeline.batch.size: 10000#发送延时pipeline.batch.delay: 10#pipeline线程数，官

(1) 首先下载软件包(采用二进制包，非编译安装)：Kafka：https://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz(2) 解压Kafka安装包，编辑解压文件中的config/server.properties配置文件，添加或调整以下配置：#kafka集群里的身份ID，节点间不能重复broker.id=1#kafka节点主机名host.name=192.168.145.109#允许在kafka上执行删除top

(1) 首先下载软件包(采用二进制包，非编译安装)：Zookeeper：https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz(2) 解压Zookeeper安装包，编辑解压文件中的conf/zoo.cfg配置文件，添加或调整以下配置：#Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTim

环境：系统均为CentOS 7.5 64位Elasticsearch：6.0.0Logstash：6.0.1Kibana：6.0.0filebeat：6.0.1集群有三台服务器，其中Elasticsearch 主节点master，Logstash，Kibana都部署在服务器A上，其余B和C分别部署Elasticsearch子节点，与A一并组成Elasticsearch集群，...

启动多个节点的ES后，ES开始推举master节点并同步分片shard数据到新ES节点上，此时观察Logstash日志抛出以下错误：logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"cluster_block_exception", "reason"=>"blocked

一.升级完毕打开Logstash运行日志观察提示如下错误信息：[2017-12-19T16:30:14,283][WARN ][logstash.outputs.elasticsearch] Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>nil, :_index=>"logs

前言：1.部署的ELK架构为elasticsearch(以下简称ES)+logstash+kibana+filebeat2.filebeat部署在需要收集日志的节点上，负责收集日志。接着交由logstash和elasticsearch过滤分析，然后传输并集中在kibana系统上进行可视化展示3.非集群部署none-cluster1.Eleasticsearch部分：