clamaa的专栏

Flume NG的简单使用可以参考介绍文档：http://blog.youkuaiyun.com/pelick/article/details/18193527，图片也来源此blog：       下载完flume后，就可以在 https://flume.apache.org/FlumeUserGuide.html 中根据教程来启动agent console   启动完成

原本打算将storm直接与flume直连，发现相应组件支持比较弱，topology任务对应的supervisor也不一定在哪个节点上，只能采用统一的分布式消息服务Kafka。   原本打算将结构设置为：   最后结构更改为：      集成Kafka   storm中已经写好了KafkaSpout用来接收Kafka中间件上的消息，并发射到Bolt中，只需要依赖 storm-k

原有的事务支持使用MemcachedState来进行，现在需要将其迁移至Redis，并且需要记录所有key值列表，因为在redis中虽然可以使用keys *操作，但不是被推荐的方式，所以把所有结果存在Redis中的一个HASH格式字段中。   关于Redis与Storm集成的相关文档，可以参考：   http://storm.apache.org/releases/2.0.0-SNAPSH

在hadoop中，存在对应的counter计数器用于记录hadoop map/reduce job任务执行过程中自定义的一些计数器，其中hadoop任务中已经内置了一些计数器，例如CPU时间，GC时间等。   Storm中也存在类似counter的功能，metrics，详细介绍可以参考下面的文档：   http://storm.apache.org/releases/1.0.1/Metri

要学习storm，我们可以先从并发编程网(ifeve.com)的storm入门开始：http://ifeve.com/getting-started-with-stom-index/   Storm集群安装部署   http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm