一组Logstash与elasticsearch的压测数据[转]

概述

组内的日志系统基于ELK搭建，本文中的数据在生产环境中进行测试得到，仅供参考。

系统构成

系统可以简要的分为：

• 日志接收机
• 日志数据队列
• 日志数据处理机
• ES集群

在日志接收机上通过一个 Logstash 进程 parse 日志数据，将 parse 后的结构写入由 Redis List 实现的日志数据队列中，之后在ES集群前，再使用一个日志处理机 Logstash 进程从 Redis 中 pop 出数据写入ES集群中。

使用 Redis List 的原因是在于当 parse 能力大于ES集群的处理能力时，缓存数据。

运行环境

日志接收机为CPU为4 * Xeon E5强IO型机器，Redis List 与向ES集群写入的 Logstash 位于同一机器上，即日志数据处理机，CPU为12 * Xeon E5。

处理日志为Nginx access日志，记录了如时间、域名、访问IP、URL、HTTP Method、响应时间、返回体长度等，约10+字段。

参数配置

日志接收机上的 Logstash 配置成了10个线程，output 中的 redis 的参数配置为：

1 2 3 4 5 6 7 8 9 10

output {     redis {         host => "192.168.1.101"         port => '6379'         data_type => "list"         key => "Logstash_benchmark"         type => "nginx_access"         threads => 5     } }

日志数据处理机上的 input 对已配置为：

1 2 3 4 5 6 7 8 9 10

input {     redis {         host => "192.168.1.101"         port => '6379'         data_type => "list"         key => "Logstash_benchmark"         type => "nginx_access"         threads => 5     } }

而 output 配置为：

1 2 3 4 5 6 7 8 9 10 11

output {     if ([type] == "nginx_access") {         elasticsearch_http {             host => "192.168.2.101"             port => "9527"             flush_size => 10000             workers => 10             index => "Logstash_benchmark"         }     } }

 

测试方法

测试分为测试 Logstash 分析日志能力，以及ES集群写入能力。

Logstash 的分析能力通过每秒取样 Redis List 中的新增队列长度获得（日志接收机上的 Logstash 生产）。

ES集群的写入能力通过每秒取样 Redis List 中减少的队列长度获得（日志数据处理机 上的 Logstash 消费）。

在测试一个阶段时，会关闭另一端的 Logstash。

数据

平均数据后，可供参考的数据为：

Logstash 分析速度为：2352.94 lines/s

ES集群写入速度为：9345.79 records/s