Nginx日志分析系统---ElasticStack(ELK)工作笔记001

项目需求使用elasticsearch,来存储大量数据,每天大概5万条数据,一年2000万条数据,要求在

mysql中存储,同时在elasticsearch中也存储一份,elasticsearch 主要用来,分析数据,这些数据,

是一些服务器节点的错误数据,大概有30万台设备,每天大约有5万条错误日志.

要通过elasticsearch分析这些错误日志中,哪些设备节点出了问题,给出设备节点告警

这里我们通过采集分析Nginx的数据来做数据分析.

 

可以看到nginx有两种数据,一种是指标数据,就是Nginx,比如当前有多少连接,他连接了多少客户端等.

    日志数据比如当前Nginx服务器的内存,cpu等信息,通过filebeat,采集日志数据,通过metricBeat

采集指标数据,然后把数据存入elasticsearch中,然后,再由kibana,进行数据的展示.

自定义一些图表显示等等.

技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152 
优快云账号:脑瓜凉 
开通了个人技术微信公众号:脑瓜凉,有需要的朋友可以添加相互学习