一、Hadoop概述

原创 已于 2024-12-30 10:51:10 修改 · 2k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #大数据 #分布式

于 2024-12-26 17:35:23 首次发布

文章目录

一、Hadoop是什么

  1. Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
  2. 主要解决，海量数据的存储和海量数据的分析计算问题。
  3. 广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

image.png

二、Hadoop发展历史

  1. Hadoop创始人Doug Cutting，为了实现与Google类似的全文搜索功能，他在Lucene框架基础上进行优化升级，查询引擎和索引引擎。
    image.png
  2. 2001年年底Lucene成为Apache基金会的一个子项目。
  3. 对于海量数据的场景，Lucene框架面对与Google同样的困难，存储海量数据困难，检索海量速度慢。
  4. 学习和模仿Google解决这些问题的办法︰微型版Nutclh。
  5. 可以说Google是Hadoop的思想之源(Google在大数据方面的三篇论文)
    5.1. GFS —>HDFS
    5.2. Map-Reduce —>MR
    5.3. BigTable —>HBase
  6. 2003-2004年，Google公开了部分GFS和MapReduce思想的细节，以此为基础Doug Cutting等人用了2年业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。
  7. 2005年Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会。
  8. 2006年3月份，Map-Reduce和Nutch Distributed File System (NDFS）分别被纳入到Hadoop项目中，Hadoop就此正式诞生，标志着大数据时代来临。
  9. 名字来源于Doug Cutting儿子的玩具大象
    image.png

三、Hadoop三大发行版本

Hadoop三大发行版本：Apache、Cloudera、Hortonworks。

  1. Apache版本最原始（最基础）的版本，对于入门学习最好。2006
  2. Cloudera内部集成了很多大数据框架，对应产品CDH。2008
  3. Hortonworks文档较好，对应产品HDP。2011

Hortonworks现在已经被Cloudera公司收购，推出新的品牌CDP。

image.png
image.png

1. Apache Hadoop

官网地址：http://hadoop.apache.org
下载地址：https://hadoop.apache.org/releases.html

2. Cloudera Hadoop

官网地址：https://www.cloudera.com/downloads/cdh
下载地址：https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_6_download.html

  1. 2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop的商用解决方案，主要是包括支持、咨询服务、培训。
  2. 2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDH，Cloudera Manager，Cloudera Support
  3. CDH是Cloudera的Hadoop发行版，完全开源，比Apache Hadoop在兼容性，安全性，稳定性上有所增强。Cloudera的标价为每年每个节点10000美元。
  4. Cloudera Manager是集群的软件分发及管理监控平台，可以在几个小时内部署好一个Hadoop集群，并对集群的节点及服务进行实时监控。

3. Hortonworks Hadoop

官网地址：https://hortonworks.com/products/data-center/hdp/
下载地址：https://hortonworks.com/downloads/#data-platform

  1. 2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。
  2. 公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年开始协助雅虎开发Hadoop，贡献了Hadoop80%的代码。
  3. Hortonworks的主打产品是Hortonworks Data Platform（HDP），也同样是100%开源的产品，HDP除常见的项目外还包括了Ambari，一款开源的安装和管理系统。
  4. 2018年Hortonworks目前已经被Cloudera公司收购。

四、Hadoop优势

1. 高可靠性

Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
image.png

2. 高扩展性

在集群间分配任务数据，可方便的扩展数以千计的节点。
image.png

3. 高效性

在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
image.png

4. 高容错性

能够自动将失败的任务重新分配。
image.png

五、Hadoop 组成

1. Hadoop1.x、2.x、3.x区别

image.png

2. HDFS 架构概述

Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。

  1. NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。
    image.png

  2. DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。
    image.png

  3. Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。

3. YARN 架构概述

Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者，是Hadoop 的资源管理器。
image.png

4. MapReduce 架构概述

MapReduce 将计算过程分为两个阶段：Map 和 Reduce

  1. Map 阶段并行处理输入数据
  2. Reduce 阶段对 Map 结果进行汇总
    image.png

5. HDFS、YARN、MapReduce 三者关系

image.png

六、大数据技术生态体系

image.png
图中涉及的技术名词解释如下：

  1. Sqoop：Sqoop 是一款开源的工具，主要用于在 Hadoop、Hive 与传统的数据库（MySQL）间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。
  2. Flume：Flume 是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume 支持在日志系统中定制各类数据发送方，用于收集数据；
  3. Kafka：Kafka 是一种高吞吐量的分布式发布订阅消息系统；
  4. Spark：Spark 是当前最流行的开源大数据内存计算框架。可以基于 Hadoop 上存储的大数据进行计算。
  5. Flink：Flink 是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。
  6. Oozie：Oozie 是一个管理 Hadoop 作业（job）的工作流程调度管理系统。
  7. Hbase：HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。
  8. Hive：Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行。其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开发专门的 MapReduce 应用，十分适合数据仓库的统计分析。
  9. ZooKeeper：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。

七、推荐系统框架图

image.png

大数据漫谈（一）——Hadoop概述
qq_51292909的博客
05-16 1075
Hadoop是一个分布式系统基础架构，主要业务为和分别由和两个核心设计负责，另外一个核心组件为是 Hadoop 的文件系统，它将大，并在。它提供了高容错性，即使某个节点出现故障，数据也可以从其他节点中恢复。是 Hadoop 的计算框架，用于。MapReduce 通过将任务分成来实现并行处理。阶段将，并生成，而阶段对最终的。是 Hadoop 2.x 引入的，负责。它允许不同类型的应用程序（如 MapReduce、Spark 等）共享集群资源，并实现了更好的资源利用率和多租户支持。
hadoop概述.xmind
10-09
自己整理的入门级hadoop概述，把知识点系统的整理了一下。简单介绍了一下hadoop的概念、基本框架等。
Hadoop技术-Hadoop概述.pptx
11-02
Hadoop技术-Hadoop概述.pptx
Hadoop介绍
weixin_34236497的博客
05-18 283
Hadoop  优点: 　　Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理...
大数据入门第一步，Hadoop环境搭建常见问题全解析
最新发布
InitFlow的博客
10-16 1047
解决Hadoop环境搭建难题，助力大数据hadoop入门。涵盖单机/集群配置、常见报错解决方案及核心组件部署要点，适用于开发与学习场景。配置清晰、步骤完整，新手也能快速上手，值得收藏。
Hadoop到底能做什么？怎么用hadoop？
lykangjia的专栏
02-10 3650
hadoop是什么？ (1)Hadoop是一个开源的框架，可编写和运行分不是应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任
Hadoop
Boxing_Champion的博客
03-13 3181
hadoop优势： 高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。 高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。 高容错性：能够自动将失败的任务重新分配。 hadoop组成： HDFS： HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是.
Hadoop--海量文件的分布式计算处理方案
happysofter的专栏
02-09 1360
作者：江南白衣，原文出处：http://www.blogjava.net/calvin/archive/2007/02/08/98688.html，转载请保留。     Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， Map
Hadoop概述
03-30
### Hadoop概述 #### 一、传统数据与大数据的区别 Hadoop主要针对的是大数据处理领域。在理解Hadoop之前，我们需要先了解传统数据与大数据之间的区别。 - **传统数据特征**： - **数据来源**：主要包括数据采集...
2_Hadoop平台（Hadoop概述+HDFS）1
08-03
【Hadoop概述】 Hadoop是Apache软件基金会的一个开源项目，主要设计用于处理和存储海量数据。这个分布式计算平台的核心由两个关键组件组成：HDFS（Hadoop Distributed File System）和MapReduce。Hadoop的开放源...
hadoop概述
08-27
<think>首先，用户的问题是：“我想了解Hadoop的基本概念和功能 请问Hadoop是什么 功能 架构概述”。这翻译成：用户想了解Hadoop的基本概念、功能以及架构概述。 根据系统级指令： - 所有行内数学表达式必须使用$...$格式，但在这个上下文中，Hadoop是计算机科学主题，可能不涉及数学表达式。所以，我应该避免不必要的数学，除非提到数字或公式。 - 独立公式必须使用$$...$$格式，但同样，可能不适用。 - LaTeX语法正确：确保在数学部分使用正确语法。 - 使用中文回答：整个响应必须用中文。 - 生成相关问题：在回答结束时，生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识：例如[^1]、[^2]等。 - 回答结构清晰：帮助用户逐步解决问题，保证真实可靠。 参考站内引用： - 引用[1]: 介绍Hadoop基础概念、发展过程、三大模块架构、发行版本、运行模式。 - 引用[2]: Hadoop是适合海量数据分布式存储和计算的平台，包含三大组件：HDFS、MapReduce。 - 引用[3]: Hadoop生态圈，包括HDFS、MapReduce、HBase。 - 引用[4]: Hadoop版本功能概述，如HA和Federation。 - 引用[5]: Hadoop核心组件：HDFS、YARN、MAPREDUCE。 这些引用提供了Hadoop的基本信息。我需要整合这些来回答用户的问题。 结构清晰的回答： 1. **介绍Hadoop的基本概念**：解释Hadoop是什么。 2. **功能**：描述Hadoop的主要功能。 3. **架构概述**：概述Hadoop的架构，包括核心组件。 逐步： - 先定义Hadoop。 - 然后讨论功能。 - 最后架构。 关键点： - Hadoop是一个开源的分布式计算框架，用于处理大数据。 - 核心功能：分布式存储（HDFS）和分布式计算（MapReduce或YARN）。 - 架构：包括HDFS（Hadoop Distributed File System）、YARN（Yet Another Resource Negotiator）、MapReduce等。 基于引用： - 引用[2]: Hadoop是海量数据分布式存储和计算的平台，包含三大组件：HDFS、MapReduce。 - 引用[5]: 核心组件：HDFS、YARN、MAPREDUCE。 - 引用[3]: 生态圈包括HDFS、MapReduce、HBase。 Hadoop 3.x版本可能有更多组件，但基本架构类似。 回答大纲： 1. **Hadoop是什么？** - 定义：Hadoop是一个开源的分布式系统框架，由Apache软件基金会开发，用于存储和处理大规模数据集（大数据）。 - 历史：起源于Google的MapReduce和GFS论文。 2. **Hadoop的功能：** - 分布式存储：使用HDFS存储海量数据。 - 分布式计算：使用MapReduce或YARN处理数据。 - 其他功能：高可用性、容错性、可扩展性。 3. **架构概述：** - 核心组件： - HDFS：负责数据存储。 - YARN：负责资源管理和作业调度。 - MapReduce：编程模型用于数据处理。 - 生态圈：包括HBase、Hive、Pig等工具。 在回答中，自然地添加引用标识。例如： - 根据引用[2]，Hadoop是一个适合海量数据分布式存储和计算的平台[^2]。 - 引用[5]提到Hadoop的核心组件包括HDFS、YARN和MAPREDUCE[^5]。 最后，生成相关问题： - 类似于示例中的问题列表。 - 例如：1. Hadoop的应用场景有哪些？2. Hadoop的优缺点是什么？3. Hadoop如何安装和配置？ 确保回答真实可靠：基于提供的引用，不添加虚假信息。</think>### Hadoop的基本概念、功能和架构概述 Hadoop是一个开源的分布式计算框架，由Apache软件基金会开发，专门用于处理大规模数据集（大数据）。它通过分布式存储和计算能力，解决了传统系统难以应对的海量数据问题。下面我将逐步解释Hadoop的基本概念、功能和架构概述，确保内容清晰可靠。回答基于提供的站内引用进行整合，引用标识已自然地添加到相关段落末尾[^1][^2][^3][^4][^5]。 #### 1. **Hadoop是什么？基本概念** Hadoop是一个统称，指代一个完整的生态系统，用于实现海量数据的分布式存储和处理。其核心思想是将数据分散到多台廉价服务器上，通过并行计算提高效率和容错性。Hadoop起源于Google的MapReduce和GFS（Google File System）论文，2006年由Apache开源后迅速发展[^1][^2]。 - **关键特点**： - **开源和可扩展**：免费使用，可轻松扩展到数千台服务器。 - **容错性**：自动处理硬件故障，确保数据不丢失。 - **成本低**：利用普通硬件（如PC服务器）构建集群，降低部署成本。 - **适合大数据场景**：处理PB级（$10^{15}$字节）数据，如日志分析、机器学习等[^2][^5]。 Hadoop的核心价值在于其分布式架构，使企业能高效存储和分析非结构化数据（如文本、图像）。根据引用[1]，Hadoop的发展过程经历了从1.0到3.0版本的迭代，逐步增强了性能和稳定性[^1][^4]。 #### 2. **Hadoop的功能** Hadoop的主要功能围绕分布式存储和计算展开，适用于大数据场景。以下是其核心功能： - **分布式存储功能**： - 使用**HDFS（Hadoop Distributed File System）** 存储海量数据。HDFS将大文件分割成块（默认128MB或256MB），并复制多份存储在不同节点上，确保高可用性和容错。例如，一个1TB文件会被分成数千个块，分布到集群中[^2][^5]。这解决了传统单机存储的瓶颈问题。 - **分布式计算功能**： - 通过**MapReduce** 或 **YARN（Yet Another Resource Negotiator）** 实现数据处理。MapReduce是一个编程模型，将任务分解为“Map”（数据映射）和“Reduce”（结果汇总）阶段，支持并行计算。例如，统计海量日志中的关键词频率时，Map阶段分片处理，Reduce阶段合并结果[^2][^3][^5]。 - YARN在Hadoop 2.0后引入，负责资源管理和作业调度，优化了集群资源利用率，支持多种计算框架（如Spark）[^4][^5]。 - **其他功能**： - **高可用性（HA）**：在Hadoop 2.0+版本中，支持NameNode的故障切换，避免单点故障[^4]。 - **数据容错**：自动检测节点故障并恢复数据副本。 - **生态集成**：与HBase（NoSQL数据库）、Hive（数据仓库）等工具无缝集成，扩展了数据分析和实时处理能力[^3][^5]。 这些功能使Hadoop广泛应用于互联网、金融、电信等领域，例如处理TB级的用户行为数据或科学计算任务。根据引用[2]，Hadoop是一个“适合海量数据分布式存储和分布式计算的平台”，其设计确保了高效性和可靠性[^2][^5]。 #### 3. **Hadoop的架构概述** Hadoop的架构是模块化的，分为核心组件和扩展生态。其核心架构基于主从（Master-Slave）模式，确保分布式操作。以下是主要组件概述： - **核心组件**： - **HDFS（Hadoop Distributed File System）**： - 负责分布式存储。架构包括： - **NameNode**：主节点，管理文件系统的元数据（如文件位置、块信息）。在Hadoop 2.0+中，支持高可用（HA）和联邦模式（Federation），允许多个NameNode共享负载[^4][^5]。 - **DataNode**：从节点，存储实际数据块，并定期向NameNode报告状态。 - 数据写入时，HDFS自动复制块（默认3份），确保冗余。例如，文件块存储在多个DataNode上，公式表示为：$ \text{replication\_factor} = 3 $[^2][^5]。 - **YARN（Yet Another Resource Negotiator）**： - 负责资源管理和作业调度。架构包括： - **ResourceManager**：主节点，分配集群资源（如CPU、内存）。 - **NodeManager**：从节点，监控任务执行。 - YARN取代了Hadoop 1.0中的JobTracker，提高了灵活性和扩展性[^4][^5]。 - **MapReduce**： - 分布式计算引擎，运行在YARN之上。它将计算任务分解为Map和Reduce阶段，支持并行处理。例如，一个MapReduce作业可处理PB级数据，公式表示为：$ \text{output} = \text{Reduce}(\text{Map}(\text{input})) $[^3][^5]。 - **整体架构**： - Hadoop集群由一个或多个主节点（NameNode、ResourceManager）和多个从节点（DataNode、NodeManager）组成。 - 数据流：用户提交作业到YARN，YARN调度资源；数据从HDFS读取，经MapReduce处理后写回HDFS。 - 在Hadoop 3.0中，新增了Erasure Coding等优化，减少了存储开销[^4][^5]。 - **生态圈扩展**： - Hadoop不仅限于核心组件，还包括其他工具，如HBase（分布式数据库）、Hive（SQL查询接口）、Spark（内存计算框架）。这些工具扩展了实时分析和机器学习能力[^3][^5]。 架构的优势在于其水平扩展性：添加更多节点即可处理更大数据量，同时保持低延迟。根据引用[3]，Hadoop的生态圈已发展出数十个项目，但HDFS、MapReduce和HBase是最基础模块[^3][^5]。 ### 总结 Hadoop是一个强大的分布式系统框架，核心功能包括通过HDFS实现海量数据存储、通过MapReduce/YARN实现分布式计算。其架构设计确保了高可用、容错和可扩展性，适用于大数据处理场景。如果您想深入学习，可以参考Hadoop官方文档或实践环境搭建。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值