日志平台中心建议

 

 

ES5.4.1
日志集群共有30个节点，监控集群有16个节点。
每天新增400多个索引，最近5天的索引为打开状态，open索引2000+,每天新增数据2.5T，5天约有150多亿条数据，保留三个月（90天）的历史数据
平均每条日志约是0.6Kb
可用性99.99%、丢失率0.6%~3%

ES监控，使用monitoring插件以及cerebro(kopf替代品)
采集端，每个虚机装一个fluentd或者采用log-sender将数据发送到远端。采集端可以任意扩展，不受限制。
如果采集端 数据比较大，可能受限于中转。由于从中转到采集端 有负载均衡，中转可以线性扩展。

 

通知方式，支持短信、邮件、电话

支持异常日志监控、业务监控、系统监控、接口调用情况监控、jvm监控、tomcat监控
kibana可视化，图表功能，既是数据的获取方式aggdsl
将监控配置集成在kibana中，最合适不过了，所见即所得
简化了监控指标的生成方式，可视化配置报警，简单易用
监控平台开发，也降低了难度

可以设置通用指标，快速实施监控报警

kibana5自带上下文查询，但仍需要改进
Custom插件，用户可以自定义一些个性化的东西
Tail插件
Alert插件

 

 

fluentd配置简单，tag概念、插件机制、运行时资源占用小

容器云，可以采用落盘或者不落盘的方式，将日志推送到日志中心，当然，我们主推不落盘的方式

 

.