
日志收集
lvqinglou
个人博客地址https://lvqiushi.github.io/
展开
-
观察elastic search集群的写入速度
最近发现向es集群写数据需要很长的耗时,感觉应该是集群扛不住了,所以想观察一下es目前的写入速度,结果发现这玩意还这么不好看,所以写下此文,分享一下 1. 写入速度检测思路 es集群没有直接提供相应的接口查询集群写入速度,所以就要曲线救国,我目前采用的思路是,每两秒记录一下当前集群的文档总数,然后计算平均每秒写入速度的方法 其脚本如下 #!/bin/bash ES_HOST='192.168.20.168:9200' ES_DOC_COUNT_REQUEST="curl -s -XG.原创 2021-03-09 16:29:17 · 2295 阅读 · 0 评论 -
filebeat + logstash 线上日志结构化收集,让查看日志更方便
线上日志结构化收集 写这篇文章的起因是因为在我们的生产环境中,部署节点比较多,机器也比较多,平时看日志只能一台一台登录的去查看,很难受。 单纯使用ELK的话,日志内容是非结构化的,就是一大坨文字,非常不直观,因此把我线上结构化日志的流程分享一下 1.日志规范定义 不管使用什么方式收集,日志的来源是一定要符合我们预想的结构的,否则日志结构化就无从谈起,所以第一步,在我们所有的java应用中首先要规范logback.xml或者其他的日志文件格式,以下是目前我规范出的日志格式 <pa原创 2020-09-27 19:44:47 · 1549 阅读 · 0 评论