Logstash+Redis+Elasticsearch+Kibana 快速搭建Nginx日志查询系统
基于Flume的美团日志收集系统(一)架构和设计
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
lucene
hive
ES除了作为搜索引擎使用,还可以作为分析引擎使用。当前,统计系统无法满足对异常实时分析的需求,本文试图利用ES提供的分析功能,在几乎无需编写代码,仅仅稍作配置的情况下,实现异常实时分析。
依旧使用ELK组件,其中logstash负责读取异常日志;elasticsearch负责存储并索引日志;kibana负责展示分析结果。
基于Flume的美团日志收集系统(一)架构和设计
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合