ELK Stack 日志平台性能优化实践_pipeline(1)

• logstash基于JVM，支持跨平台；而beat使用golang编写，AIX不支持；
• AIX 64bit平台上需要安装jdk（jre） 1.7 32bit，64bit的不支持；
• filebeat可以直接输入到ES，但是系统中存在logstash直接输入到ES的情况，这将造成不同的索引类型造成检索复杂，最好统一输入到els 的源。

总结：logstash/filter总之各有千秋，但是我推荐选择：在每个需要收集的日志服务器上配置filebeat，因为轻量级，用于收集日志；再统一输出给logstash，做对日志的处理；最后统一由logstash输出给es。

3、logstash的优化相关配置

可以优化的参数，可根据自己的硬件进行优化配置：

①pipeline线程数，官方建议是等于CPU内核数

默认配置 —> pipeline.workers: 2；
可优化为 —> pipeline.workers: CPU内核数（或几倍CPU内核数）。
②实际output时的线程数

默认配置 —> pipeline.output.workers: 1；
可优化为 —> pipeline.output.workers: 不超过pipeline线程数。
③每次发送的事件数

默认配置 —> pipeline.batch.size: 125；
可优化为 —> pipelin