该博客介绍了日志收集与存储相关软件配置。使用jdk1.8.0_191、elasticsearch-6.4.2、kibana-6.4.2和filebeat-6.4.2，日志发送路线为filebeat -> elasticsearch -> kibana。目前存在log信息格式化不佳问题，大访问量时elasticsearch可能阻塞，各软件需集群化并监控运行状态。
软件:
jdk1.8.0_191 需要设置JAVA_HOME PATH, es会用到
elasticsearch-6.4.2 数据存储及查询
kibana-6.4.2-linux-x86_64 数据可视化
filebeat-6.4.2-linux-x86_64 日志收集 优点:轻量 断点续传
没有使用logstash 因为占用资源比较多,
使用filebeat读取apache log或其他log, 几乎不占资源, 考虑在日志生产的机器上只安装filebeat, 这样比较轻
日志发送路线
filebeat -> elasticsearch ->kibana
目前问题:
传递的log信息格式化不太好, 1是不是有filebeat设置项 2考虑在filebeat和es之间加入logstash
大访问量情况下可能造成elasticsearch 阻塞, 前面加入kafka限流
每个软件都集群化,
监控每个软件的运行状态
扫一扫
917
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
