hadoop一些术语

老苏今天也来说说hadoop一些术语，方便大家学习用。

MapReduce

Hadoop的核心：大数据处理的”发动机“，最重要的创新是当处理一个大数据查询时，能将该大数据的请求分解并在运行的多个节点中进行处理。

HDFS：

1、对每个节点的数据访问。

2、当hadoop集群服务器出现错误时候，整个计算过程并不会终止。同时HDFS可保障在整个集群中发送故障错误时的数据冗余。

PIg和Hive: 

 Pig是一种编程语言，可加载数据、表达转换数据以及存储最终结果。

      Hive:数据仓库的角色。Hive添加数据的结构在HDFS上，并允许使用类似SQL语法进行行数据查询。主要用于静态的结构以及需要经常分析的工作。

 Hive和Pig为HBase提供高层语言支持，使得在HBase上进行数据统计处理变得简单。

Hive 具备友好SQL查询与繁多数据库的理想结合点，数据工具通过JDBC或ODBC 数据驱动程序连接。

HBase、Sqoop、Flume：

HBase 作为面向列的数据库运行在HDFS之上。HBase以Google BigTable为蓝本，它利用MapReduce来处理内部的海量数据。

Sqoop：功能主要是从关系数据库导入数据到Hadoop，并可直接导入到HFDS和Hive。

Flume：设计旨在直接流数据或日志数据导入HDFS

       Zookeeper、Oozie、  Ambari、   Apache Whirr 

       Zookeeper: 协调工作的成员，随着计算节点的增多，集群成员需要彼此同步并了解去那里访问服务和如何配置。

       Oozie：提供管理工作流程和依赖的功能，并无需开发人员编写定制的解决方案。

       Ambari：旨在将监控和管理等核心功能加入Hadoop。它可以帮助系统管理员部署和配置Hadoop，升级集群以及监控服务。还可以通过API集成与其他系统管理工具。

      Apache Whirr 云服务的类库，可提供高度的互补性。

     Mahout

       Mahout包含许多实现，包括集群、分类、推荐过滤、频繁子项挖掘。

.