这有一片海的博客

此配置使用negate: true和match: after设置来指定任何不符合指定模式的行都属于上一行。

graylog 单机迁移集群。mongodb单机迁移集群。Elasticsearch单机迁移集群。

Graylog使用sidecar、filebeat形式采集日志信息

安装graylog以后在System/Notes中查看API集群版本查看Cluster Global API browser即可，单机版查看具体节点列表中的API browser

在使用graylog时，默认分页查询存在限制，真实使用不能满足，需要我们手动处理。当查询超过执行长度时，会出现一下错误提示 While retrieving data for this widget, the following error(s) occurred:Unable to perform search query: Elasticsearch exception [type=illegal_argument_exception, reason=Result window is too lar

通常情况下，原始日志被采集上来之后，需要通过编写正则进行日志字段的解析，以便用来进行日志分析，看板的制作。

因部分日志需要根据日志保留规范保留指定时间日志信息，例如主机日志留存时间不得少于6个月。在某些场景下，日志没有自动切分的情况，日志文件会越来越大，查看很不方便，在合理的时间里进行日志切割也非常有必要。本文主要介绍利用logrorate进行日志切割和日志备份。以主机日志和Nginx日志为例说明具体使用方法和注意事项。

本文介绍了Graylog单机版安装过程，以及graylog一键安装脚本，并记录了遇到了相关问题的解决方案。同时提供了Dokcer-compose的安装方式。

生产环境监控中，使用了Prometheus监控MySQL数据库，可以监控到是否有慢查询，但是没有办法定位到具体的慢查询语句。MySQL数据库可以开启慢查询，并可以记录到日志中，这样我们就可以根据慢查询日志来定位具体的慢查询语句，并及时告警。通过Dashboards来实现日志分析。

`Pipeline`位于`Stream`之后，可以对`Stream`中的消息进行处理。实际使用过程中，分流到`Stream`的规则中可能会用到`pipeline`清晰后的字段，那么该如何处理呢？`Graylog` 接收的所有消息最初都会路由到“`All messges`”流中。可以将此流用作`pipeline`处理的入口点，从而允许将传入消息路由到更多流并随后进行处理。也就是说所有消息的过滤、字段变动可以先针对`All messages`进行，然后在到达其他`stream`时数据已经被清理一次了。

GELF是一种日志格式，能避免传统意义上的 的一些缺陷。Srping Boot接入Graylog

Graylog的查询语法接近Lucene语法。默认情况下，如果未指定要搜索的消息字段，则搜索中将包括所有消息字段。

Graylog 开源版官网：Graylog是一个开源的日志聚合、分析、审计、展现和预警工具。在功能上来说，和ELK类似，但又比ELK要简单很多。依靠着更加简洁，高效，部署使用简单的优势很快受到许多人的青睐。当然，在扩展性上面确实没有比ELK好，但是其有商业版本可以选择。Input表示日志数据的来源，对不同来源的日志可以通过Extractors来进行日志的字段转换，比如对Nginx访问日志进行字段拆分，解析状态码、URL等数据。然后可以通过pipeline建立数据过滤规则。