hadoop架构、组件

1.hadoop架构？

①底层（存储）

②中间层（资源及数据管理）

③上层（MapReduce、Impala、Spark等计算引擎）

④顶层（服务）

2.Hadoop组件？

①Pig和Hive

Pig是一种编程语言，它简化了Hadoop常见的工作任务。Hive在Hadoop中扮演数据仓库的角色。Hive添加数据的结构在HDFS上，并允许使用类似于SQL语法进行数据查询。

②HBase、Sqoop及Flume

HBase作为面向列的数据库运行在HDFS之上。Sqoop从关系数据库导入数据到Hadoop，并可直接导入到HFDS或Hive。Flume直接将流数据或日志数据导入HDFS。

③Zookeeper和Oozie

随着计算节点的增多，集群成员需要彼此同步并了解去哪里访问服务和如何配置，ZooKeeper来完成这项工作。Oozie组件提供管理工作流程和依赖的功能。

④Ambari

帮助系统管理员部署和配置Hadoop，升级集群以及监控服务。

⑤Whirr

一套运行于云服务的类库（包括Hadoop），可提供高度的互补性。支持Amazon EC2和Rackspace服务。

⑥Mahout

Mahout提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout包含许多实现，包括集群、分类、推荐过滤、频繁子项挖掘。

⑦Apark

Apache Spark是一个通用计算引擎，能对大规模数据进行快速分析。实时查询、事件流处理、迭代计算、复杂操作与机器学习。