wyl9527的博客

删除匹配到的行，当前行信息不记录到message中。

Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展，高度可用的多租户日志聚合系统。开发语言: Google Go。它的设计具有很高的成本效益，并且易于操作。使用标签来作为索引，而不是对全文进行检索，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据签，极大地降低了日志索引的存储。Loki 是主服务器，负责存储日志和处理查询。promtail 是代理，负责收集日志并将其发送给 loki。Grafana 用于 UI 展示。

ELK日志系统

容器中的日志在哪？上图可以看到docker容器中组件的位置以及组件对应的日志位置。其中e0d336cc一串的字符串就是容器id。filebeat配置文件：filebeat.inputs:- type: docker containers.ids: - "e0d336cc9f7b1403ede7ac1008003558b270ed3ee7ce946ba4b03b9e3cf3c260" tags: ["access"]output.elasticsearch: ..

目录1. redis缓存中间件2 kafka缓存中间件1. redis缓存中间件官网配置如下,找到对应的版本，然后找output模块中redis的配置信息：filebeat.inputs:- type: log enabled: true paths: - /var/log/nginx/access.log json.key_under_root: true json.overwrite_keys: true tags: ["access"]

有的日志比较特殊，是多行数据为一个整体信息，这时候就需要将多行日志转换成一行日志，如下图所示，7行数据才是一条整体的日志。如果正常去将日志在kibana中展示就会出现下面的情况，一条日志分成了7条数据，不便于我们观察和记录。官网配置如下，将多行数据转换成一行日志记录：根据官网上的解释，我们配一下filebeat.yml的内容filebeat.inputs:###################收集access日志#########################- ...

正常情况下，我们收集到的日志的格式可能和我们要求的不太一样，所以需要将日志按照我们要求的格式进行展现，在kibana中也可以直接过滤搜索。查找对应的版本，我的是7.3版本的，官网的配置如下：filebeat.inputs:- type: log enabled: true paths: - /var/log/nginx/access.log json.key_under_root: true json.overwrite_keys: true json.mes

1 logrotate原理一般在服务器初始化的时候这些工具都已经存在的，服务的主配置文件：/etc/logrotate.conf，在主配置中可以看到include /etc/logrotate.d 说明可以将用户定义的配置直接放到这下面，系统会自动为我们执行。logrotate的原理就是一个cron job；每天定时触发执行对应脚本；可在系统日志中查看到相关执行的日志信息。2logrotate每小时切割日志logrotate切割nginx日志，创建nginx的日志切割文件，放在目录/e...

1 、 logstash简介：logstashj是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。 首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格式），然后传给Elasticsearch进行存储、建搜索的索引，kiban

1、解压tar包[bfd@bgsbtsp0006-dqf software]$ tar -xf kibana-5.2.2-linux-x86_64.tar.gz -C /opt/2、创建软连接[bfd@bgsbtsp0006-dqf opt]$ ln -s kibana-5.2.2-linux-x86_64 kibana3、编辑配置文件[bfd@bgsbtsp0006-dqf kibana]# vi

1、背景介绍日志收集，采用的是 ELK 框架，即 elasticsearch，logstash，kibana，另外还有 filebeat 组件，其中 filebeat 用于扫描日志文件，将日志发送到 logstash 服务，logstash 服务则完成将日志切分，发送到 elasticsearch 服务。2、filebeat的部署步骤(日志 -> logstash)下载安装包，并解压。创建xxx