Hadoop
Hadoop生态系统的不同组件
1、HDFS:Hadoop分布式存储系统——存储,复制。
2、MapReduce:分布式处理,容错。
3、HBase:快速读/写访问——一种在HDFS上运行的列式数据库管理系统。
4、HCatalog:元数据——Hadoop的表和存储管理层,使用户可以使用不同的数据处理工具。
5、Pig:脚本——Pig程序的显著特点是它们的结构适合于大量的并行化,从而能够处理非常大的数据集。
6、Hive:SQL——构建在Hadoop之上的数据仓库的基础架构,用于提供数据汇总、查询和分析。
7、Oozie:工作流,管理Apache Hadoop作业的调度。
8、Zookeeper:协调——维护配置信息,命名,提供分布式同步,以及提供组服务的协作服务。
8、Kafka:集群保留所有已发布的消息——不管它们是否已被应用——在可配置的时间段内。
9、Mahout:分布式或其他可扩展的机器学习算法的实现。