
kafka
wfs1994
……
展开
-
ELK日志分析平台加入Kafka消息队列
在之前的搭建elk环境中,日志的处理流程为:filebeat --> logstash --> elasticsearch,随着业务量的增长,需要对架构做进一步的扩展,引入kafka集群。日志的处理流程变为:filebeat --> kafka --> logstash --> elasticsearch。架构图如下所示: Kafka: 数据缓冲队列。作为...原创 2018-06-03 15:01:04 · 2762 阅读 · 2 评论 -
Kafka基础知识及环境搭建
基础入门Kafka介绍 一个高性能、高吞吐量的分布式消息订阅/发布平台下载地址:http://kafka.apache.org/downloadsKafka是一个分布式流媒体平台,流媒体平台有三个关键功能:发布和订阅记录流,类似于消息队列或企业消息传递系统。以容错持久的方式存储记录流。处理记录发生的流。Kafka通常用于两大类应用:构建可在系统或应用...原创 2018-06-01 16:21:56 · 1252 阅读 · 0 评论