这是一个记录学习的博客

基本概念使用 Elasticsearch Snapshot 时需要有一些基本概念澄清，他不是拿指定的 Indices 文件做个压缩包丢在 S3 完事，他是有控制的。snapshot 结构Elasticsearch 的 snapshot 是由其自身控制的，整个系统保持了一个如下的从下到上的控制结构，他们具备包含关系：snapshot --> repository --> ...

一般索引按月、季或年为单位创建索引。我这里写成logstash-www-2019-03,www是URL的二级域名。格式类型完全根据自己方便就行。当ELK集群中的索引过多时，我这里有100多个不同的日志，也就是得有100多个索引。如果要手动在在kibana界面上创建，还不得累死。所以就想到用程序调用API接口来做。如下是脚本：#type_log.txt 文件中的有用部分全都是logstas...

背景：在现在的日志收集环境中，在filebeat收集日志的时候，定义了很多不用日志收集路径与标签，但是这些日志写的时候全部写到了一个kafka的 topics里面，但是在输出的时候，只想输出某一个tag的文本，并不想输出全部的tag，所以在logstash设置output的时候就加了判断规则filebeat配置如图：logstash配置如图：这样就可以输出指定的 tag了...

由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在介绍手动删除操作之前，先简单的介绍一下Kafka消费Offset原理。一、Kafka消费Offset...

之前一直运行正常的数据分析平台，最近一段时间没有注意发现日志索引数据一直未生成，大概持续了n多天，当前状态: 单台机器, Elasticsearch（下面称ES）单节点(空集群),1000+shrads, 约200G大小。问题排查服务器内存，CPU状态检查使用top查看服务器cpu，内存等占用情况，如下图示（当时楼主的服务器ES应用的CPU占用在90%以上，肯定有问题）内...

缘由：由于某某某种原因，反正就是很简单的原因（其实就是穷），决定要把我们线上的日志不写ES了，在部门技术扛把子的一顿操作下就换成写本地文件了。最后修改成的版本如下，假装写一个博客记录一下。input { kafka { bootstrap_servers => "10.7.1.111:9092" topics => "te...

今天研发的同学在我们提供的kibana上面查看日志的时候，发现json文件被截断了不能完整的显示出来，在kafka中发现收集来的文件就已经发生了截断，所以判断为filebeat收集的问题，查找了文档，找到了设置相关收集的参数，解决了该问题。- input_type: log  # Paths that should be crawled and fetched. Glob based pat...

现在工作的环境中，由于es的索引慢慢变大，加上存储空间的有限到了要定期删除索引，所以写了一个脚本定时来删除#!/bin/bashda=`date +%F`time=`date -d"yesterday $da" +%Y-%m-%d` #前一天time=`date -d"3 day ago $da" +%Y-%m-%d` #10天前echo $timecurl -XDELETE "1...

增量同步索引curl -i -H "Content-Type:application/json" -XPOST -d '{ "source":{ "remote":{ "host":"http://114.115.149.108:10007" }, "index":"b2b-order-'$var'",

上一篇记录了zookeeper集群的部署情况，所以顺便记录一下kafka集群部署1、下载安装软件#创建目录cd /opt/mkdir kafka #创建项目目录cd kafkamkdir kafkalogs #创建kafka消息目录，主要存放kafka消息#下载软件wget http://apache.opencas.org/kafka/0.9.0.1/kafka_2.1...

filebeat作为日志采集agent, 是需要部署到生产服务器上的.不理解filebeat的工作机制,不了解filebeat在实际生产使用中的内存使用将会给你带来意想不到的麻烦.有些文章说filebeat内存消耗很少,不会超过100M, 这简直是不负责任的胡说,假如带着这样的认识把filebeat部署到生产服务器上就等着哭吧.filebeat在空载情况(没有日志可采集)下的确不会有大的内...

搜索引擎基本实现索引1、倒排索引：切词后，会有一个表每个词出现在那些文档中，是根据切词来找文档例：当要找的语句是“我们是共产主义接班人”的时候，es的执行过程是：先找包含“我们”的文档，在找“共产主义”的文档，在找“接班人”的文档，然后找到的三个文档做交集，就可以找到最匹配的文档2、正排索引：sql ...

背景：公司现在正进行华为云往亚马逊云上面迁移，为了将ES的索引dump下来， 写了一个shell脚本如下：#!/bin/bashset -x#arrayBranchId=(fdc)arrayBranchId='fdw'merchandise_v=10order_v=3es_url=http://xx.xx.xx.xx:10007new_es_url=http:/...

1、删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录2、Kafka 删除topic的命令是：     ./bin/kafka-topics  --delete --zookeeper 【zookeeper server】  --topic 【topic name】     如果kafaka启动时加载的配...

导入消息测试./kafka-console-consumer.sh--zookeeper localhost:2181 --topic qumaiyao-web-prepare --from-beginning正常同步信息：

设置hosts：在日志客户端机器上面，添加ELK服务器端的IP主机名映射 安装：[root@hhh opt]# tar-zxvf filebeat-5.4.1-linux-x86_64.tar.gz配置：指定输出日志的路径，标签与时间格式- input_type: log  # Paths that should be crawled and fetched.Glob based paths.  ...

配置zookeeper$cd  kafka_2.11-0.10.0.0$vi config/zookeeper.properties dataDir=/data/programs/kafka_2.11-0.10.0.0/datadataLogDir=/data/programs/kafka_2.11-0.10.0.0/logsclientPort=2181maxClientCnxns=100tic...

缘由：由于现在工作中使用了ELK作为日志收集，给研发提供查看日志情况，加上集团机房搬迁，所有服务重新迁移部署，借此机会，将ELK整个环境重新部署了一遍，以此记录一下。ELK+kafka日志系统原理（介质为日志）Windows/linux的logstash（客户端）--->kafka（队列）--->kakfa上的logstash（也是一个客户端）--->ES（存储）--->k...