wzf862187413的博客

实现elk冷热日志分离方法一：修改elasticsearch.yml配置文件的信息如下所示：Master-node1 节点文件信息如下所示：[root@master-node1 ~]# cat /etc/elasticsearch/elasticsearch.yml | grep -v "#" | grep -v "^$"cluster.name: "es"node.nam...

日志格式如下所示：Apr 12 01:09:55 swarm1 chronyd[599]: Source 5.79.108.34 onlineApr 12 01:09:55 swarm1 chronyd[599]: Source 13.55.50.68 onlineApr 12 01:09:55 swarm1 nm-dispatcher: req:8 'connectivity-chang...

SYSLOG5424PRINTASCII [!-~]+SYSLOGBASE2 (?:%{SYSLOGTIMESTAMP:timestamp}|%{TIMESTAMP_ISO8601:timestamp8601}) (?:%{SYSLOGFACILITY} )?%{SYSLOGHOST:logsource} %{SYSLOGPROG}:SYSLOGPAMSESSION %{SYSLOGBASE...

## These patterns were tested w/ haproxy-1.4.15## Documentation of the haproxy log formats can be found at the following links:## http://code.google.com/p/haproxy-docs/wiki/HTTPLogFormat## http://...

USERNAME [a-zA-Z0-9._-]+USER %{USERNAME}INT (?:[+-]?(?:[0-9]+))BASE10NUM (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))NUMBER (?:%{BASE10NUM})BASE16NUM (?<![0-9A-Fa-f])(?...

# NetScreen firewall logsNETSCREENSESSIONLOG %{SYSLOGTIMESTAMP:date} %{IPORHOST:device} %{IPORHOST}: NetScreen device_id=%{WORD:device_id}%{DATA}: start_time=%{QUOTEDSTRING:start_time} duration=%{INT...

Kafka Shell基本命令（包括topic的增删改查）创建kafka topic 查看所有topic列表 查看指定topic信息 控制台向topic生产数据 控制台消费topic的数据 查看topic某分区偏移量最大（小）值 增加topic分区数 删除topic，慎用，只会删除zookeeper中的元数据，消息文件须手动删除 查看topic消费进度创建kafka topi...

该插件作用为实现使用基本的sql语句进行日志信息的查询elasticsearch-sql该插件可以通过基本的sql语句进行日志信息的查询提取下载elasticsearch-sql该插件，对应的下载地址为https://github.com/NLPchina/elasticsearch-sql将下载的安装包解压，将解压的文件目录中的文件移动到到elasticsearch的如下所示目录中...

编写脚本，例如如下脚本[root@master-node1 ~]# cat indexdelete.sh#! /bin/bashdate=`date -d "8 days ago" +%Y.%m.%d`echo $datecurl -XDELETE "192.168.101.17:9200/*-${date}"该脚本只是最简单的实现删除8天之前的索引，可以配合crontab...

elk实现对日志的分离修改filebeat服务器filebeat的配置文件如下所示[root@data-node2 filebeat]# cat filebeat.yml | grep -v "#" | grep -v "^$"filebeat.prospectors:- input_type: log enabled: true paths: - /var...

elasticsearch.yml是es的基本配置文件，log4j2.properties是es的日志配置文件，es也是使用log4j来记录日志的下面是elasticsearch.yml文件的解释：cluster.name:配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。node.n...

Elasticsearch 对文档操作时的分片交互过程分析路由文档到分片1文档路由到分片上：一个索引由多个分片构成，当添加（删除、修改）一个文档时，Elasticsearch就需要决定这个文档存储在哪个分片上，这个过程就称为数据路由（routing）。2 路由算法：shard = hash(routing) % number_of_primary_shards示例：一个索引，3个 pri...

Elasticsearch 分片和副本机制与单点、多点环境创建index解析分片和副本机制 1 index 包含多个 shard（分片），创建 index 时可以在settings中设置分片数，不设置时默认是5个。 2 每个 shard 都是一个最小工作单元，承载部分数据；每个 shard 都是一个 lucene 实例，并且具有完整的建立索引和处理能力。 3 增减节点...

################### Filebeat Configuration Example ###################################################### Filebeat ######################################filebeat: # List of prospectors to fe...

1 kafka集群环境搭建部署完毕2 安装部署logstash，可以参考elk环境部署修改logstash的相关配置文件，修改内容如下所示修改/etc/logstash/conf.d/logstash.conf配置文件[root@logstash-4 conf.d]# cat logstash.confinput { kafka { bootstrap_serv...

Elk的查询使用方法1 elk通过调用其api的使用方法elasticsearch官网提供了这个cat的api方法，具体使用如下：elasticsearch本身提供了9200端口（如果未做修改的话）,可以在es的ip和端口后加/_cat查看可用的cat api以下为列举出的一般用法，更多用法可以在/_cat来查看1.1 /_cat/indices?index=a_log_*&a...

elasticsearch.yml是es的基本配置文件， log4j2.properties是es的日志配置文件，es也是使用log4j来记录日志的下面是elasticsearch.yml文件的解释：cluster.name:配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。node.n...

RUBY_LOGLEVEL (?:DEBUG|FATAL|ERROR|WARN|INFO)RUBY_LOGGER [DFEWI], \[%{TIMESTAMP_ISO8601:timestamp} #%{POSINT:pid}\] *%{RUBY_LOGLEVEL:loglevel} -- +%{DATA:progname}: %{GREEDYDATA:message}