- 博客(2)
- 收藏
- 关注
RSS订阅原创 Kafka
概述 基于zookeeper协调的分布式消息系统，它的最大特性是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 核心概念 Producer：消息的生产者，负责往Kafka集群中发送消息；Consumer：消息的消费者，主动从Kafka集群中拉取消息。Consumer Grou
2022-02-14 00:21:58
285
原创 Flume
目录 概述 基础架构 Flume事务 Flume Agent 内部原理 Flume 拓扑结构 开发案例 自定义 Intercepter 自定义Source 自定义Sink Flume数据流监控 Flume参数调优 Flume的事务机制 Flume采集数据会丢失吗? 概述 高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，基于流式架构，灵活简单； 主要作用是实时读取服务器本地磁盘的数据，将数据写入HDFS。 基础架构 Agent： 是一个JVM进...
2022-02-09 22:16:39
390
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人