zx52306的博客

ELK优化可以围绕着 linux内核优化、JVM优化、ES配置优化、架构优化（filebeat/fluentd代替logstash、加入kafka做消息队列）来实现。ES 作为日志存储时的特性是：高并发写、读少、接受 30 秒内的延时、可容忍部分日志数据丢失。1.write 线程池满负荷，导致拒绝任务，而有的数据无法写入。而经过上面的优化后，拒绝的情况少了很多，但是还是有拒绝任务的情况。所以我们还需要优化 write 线程池。2.write 线程池采用 fixed 类型的线程池，也就是核心线程数与最大线

Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用）。●input：表示从数据源采集数据，常见的数据源如Kafka、日志文件等●filter：表示数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式grok 对若干个大文本字段进行再分割成一些小字段 (?<字段名>正则表达式) 字段名: 正则表达式匹配到的内容date 对数据中的时间格式进行统一和格式化。

【代码】ELK优化之Filebeat部署。

自定义正则匹配格式：(?自定义的正则表达式)可以自定义为。