本文介绍了一种数据监控平台的设计方案,主要通过三种方式将消息导入到ES集群中:直接通过Client API接口、通过Logstash监控文件收集以及通过Log4j2发送到Logstash再导入ES。这些方式能够有效实现数据的收集与处理。
项目组要设计一套数据监控平台，一下是本人初步设计的技术架构图。各个组件怎么使用请关注后续文章。
消息通过3中方式导入集群：
1、消息解析之后直接通过Client API接口导入ES集群。
2、消息解析存储到文件，存储格式为json、csv等等格式，通过logstash 监控文件收集数据到ES集群。
3、消息解析之后直接通过log4j2的tcp传送到logstash，logstash过滤采样之后导入ES集群。
扫一扫
1万+
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
