Hadoop学习总览

最新推荐文章于 2025-12-20 18:17:43 发布

原创最新推荐文章于 2025-12-20 18:17:43 发布 · 198 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

本文介绍了Hadoop项目的发展背景及核心组件，包括HDFS、MapReduce、HBase、Zookeeper等，强调其在可靠、可扩展和分布式计算方面的优势。同时，简述了Apache软件基金会及其对Hadoop的支持。

概述
Hadoop项目是以可靠、可扩展和分布式计算为目的而发展而来的开源软件。
可靠：冗余储存，单个故障不会影响整体运行
可扩展：可以横向扩展，多磁盘
分布式：多个计算机节点计算，结果合一起，得到结果。
Hadoop 是Apache的顶级项目。
Apache：APACHE软件基金会，支持Apache的开源软件社区项目，为公众提供好的软件产品。
项目主页：http://hadoop.apache.org
生态圈简单介绍：
HDFS–分布式文件系统-存储在集群上，一次写入多次使用。为HBase等工具提供基础
Mapreduce–分布式计算模型，大数据集分解成小数据集，各个节点处理得到中间结果，之后合并成一体。
HBase–分布式列存数据库，在HDFS基础上（存储在HDFS里面），操作nosql数据库，被zookeepe管理
Sqoop–sql to hadoop用于传统数据库和hadoop的之间传输数据
Flume–日志收集系统
Storm–实时计算系统
Zookeeper–分布式协作系统，用于管理hadoop管理；统一命名/配置同步等操作
Pig-mapreduce的抽象脚本
Hive–数据仓库，定义了HQL语句，将sql转化为mapreduce在hadoop上执行
Spark–比hadoop更快的数据处理平台
Oozie–工作流调度器–将 map/reduce整合，处理更大的数据
Mahout–数据挖掘算法库–机器学习算法
Hadoop yarn–分布式资源管理器 mapreduce的进阶板本，解决了扩展性差的问题
Tez-运行在yarn上，支持DAG的计算模型

1/ zookeeper介绍

Zookeeper是一个高性能，分布式的，开源分布式应用协调服务。它提供了简单原始的功能，分布式应用可以基于它实现更高级的服务，实现诸如同步服务、配置维护和集群管理或者命名的服务。
Zookeeper服务自身组成一个集群，2n+1个（奇数）服务允许n个失效，集群内一半以上机器可用，Zookeeper就可用。