Hadoop架构——云计算的具体实现

最新推荐文章于 2021-01-12 06:26:32 发布

转载最新推荐文章于 2021-01-12 06:26:32 发布 · 927 阅读

hadoop 专栏收录该内容

4 篇文章

订阅专栏

本文深入介绍了Hadoop的核心技术，包括其发展历程、如何解决海量数据存储与分析的问题，并详细解析了HDFS架构及其高可用策略。

Hadoop是IT行业一个新的热点，是云计算的一个具体实现、Hadoop本身具有很高的技术含量，是IT工程师学习的首选！下面我们来详细讲讲什么是Hadoop。

完整hadoop讲解视频教程下载地址：

1、http://kuai.xunlei.com/d/CLCBYHQKJQNT

2、http://kuai.xunlei.com/d/CSMFERCHAGEE

Hadoop是什么：

Hadoop = The Hadoop projects

Common, Avro, MapReduce, HDFS, Pig, Hive, Hbase, ZooKeeper, Sqoop, Oozie

Hadoop要解决的两个问题：

1、海量数据的存储 -- HDFS

2、海量数据的分析 -- MapReduce

Hadoop发展的历史：

始于2002年的apache项目Nutch

2003年Google发表了关于GFS的论文

2004年Nutch的开发者开发了NDFS

2004年Google发表了关于MapReduce的论文

2005年MapR被引入了NDFS

2006年改名为Hadoop，NDFS的创始人加入Yahoo，Yahoo成立了一个专门的小组发展Hadoop

HDFS设计目标：

1、Very large files

2、Streaming data access

write-once, read-many-times

3、Commodity hardware

HDFS架构：

在Hadoop中，一个文件被划分成大小固定的多个文件块，分布的存储在集群中的节点中

Block：一个文件分块，默认64M

NameNode：保存整个文件系统的目录信息，文件信息以及文件相应的分块信息。

DataNode：用于存储Blocks

HDFS的HA策略：NameNode一旦宕机，整个文件系统将无法工作。

如果NameNode中的数据丢失，整个文件系统也就丢失了。

2.x开始，HDFS支持NameNode的active-standy模式。