IBelieve2016的博客

hadoop总结1 - - MapReduce和HDFSHadoop是一个分布式的集群环境，它不需要我们深入了解许多分布式平台的细节，直接帮我们在上面搭建好了一个平台。Hadoop的核实HDFS和MapReduce。当然，Hive, hbase, storm, spark等技术，也都是基于hadoop的。下图展示了hadoop的生态圈：MapReduceMapReduce是一种分布式计算框架，它实现

Storm学习总结（flume+kafka+storm）storm是实时流计算用到的一门技术。在学习storm的时候，首先学习了flume和kafka，所以在这里放一块总结一下。flume的核心是把数据从数据源收集过来，然后送到目的地。kafka是一种分布式的消息系统。storm集群可以实时处理数据源传入的数据。flumeflume为了实现数据的传输，设计了三个部分，source, channel,