Jz Shen的专栏

1、简介     Kafka是一个分布式消息队列，是一个能把消息存在不同节点上的企图实现高吞吐量的MQ（message queue）。粗略的讲，对于我们实验室的项目，Kafka是作为一个消息缓存机制存在，而看网上博客和官网一些描述其实也差不多是这个用处。对于我们“Flume+Kafka+storm”的平台，因为Flume模拟流数据源的发送速度是不稳定的，时快时慢，而且如果Flume的发送速度过

本文参考文章：http://www.cnblogs.com/lion.net/p/3922960.html#top 以及各种官方文档。1、Kafka与Storm的整合          Kafka与storm的整合就是用Kafka的消费者实现为为storm的数据源spout，用Kafka的stream数据作为storm中spout的数据源。     PS：编写代码的

1、构造     Flume与Kafka整合就是接口的实现，将Kafka的producer API实现为Flume的sink。简单理解就是将Flume的输出（sinks）作为Kafka的输入（producer）。          2、准备工作     1）将Kafka libs下所有的包都拷贝到Flume的lib目录下，这样运行基本不会有问题。     2）做了第一步工作之后

最近实验室在搞storm流计算处理广告异常方面的学习。思路就是“Flume+Kafka+storm”平台，其中Flume可以模拟数据源发送源源不断的流数据，Kafka是个类似缓冲机制的东西，有生产者和消费者接口，分别与上流的Flume和下流的storm交互，storm平台则从Kafka取得数据处理。     Flume的安装非常简单，去到官网看一张图可以迅速又深刻的理解它的概貌：

原文出处：http://my.oschina.net/leejun2005/blog/288136?utm_source=tuicool&utm_medium=referral作者：xrzs目录[+]1、Flume 的一些核心概念：1.1 数据流模型1.2 高可靠性1.3 可恢复性2、Flume 整体架构介绍2.1 Exec source2.2 Spooling Direc