weixin_40326107的博客

原文出自：https://www.cnblogs.com/zhangyinhua/p/7803486.html阅读目录(Content)一、Flume简介 二、Flume特点 三、Flume的一些核心概念 3.1、Agent结构　　 3.2、source 3.3、Channel 3.4、Sink 四、Flume拦截器、数据流以及可靠性 4.1、Flume拦截器 ...

原文出自：https://www.cnblogs.com/ciade/p/5495218.htmlflume使用示例flume的特点：flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。flume的数据流由事...

一、基本概念1.相较于hadoop的优势        相对于hadoop而言，strom的优势在于对于应对大数据两的实时数据处理上，因为hadoop在处理大数据过程中高延时的特点使得其面对实时数据缺乏足够的应对策略，目前strom已经被广泛的应用在诸如金融系统，实时推送系统，预警系统，网站统计等多个场景中，他可伸缩性高，不存在数据丢失，高容错性，高健壮性等特点都使得他在未来拥有更广阔的天...

Storm集群的搭建1.Storm集群搭建步骤：      1）搭建zookeeper集群（已完成）      2）安装storm依赖的软件            ZeroMQ：消息处理队列库，可以在多线程环境下，在多个服务器（主机）、内核之间弹性伸缩            JZMQ：一个底层的消息队列            JAVA 8            Pyth...

1.准备工作       1）需要准备两台虚拟机，并部署zookeeper集群，分别为leader和follower       2）下载kafka安装文件：http://kafka.apache.org/downloads             这里建议下载的是 Scala 2.11 - kafka_2.11-2.0.0.tgz 这个版本，本人使用的也是这个版本2.开始2....