Hadoop生态系统

最新推荐文章于 2024-08-27 07:30:00 发布
最新推荐文章于 2024-08-27 07:30:00 发布
阅读量215 收藏
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_46480050/article/details/107069968
版权

Hadoop生态系统

Hadoop是什么

  • Hadoop是一个开源分布式系统架构
    • 分布式文件系统HDFS–解决大数据存储
    • 分布式计算框架MapReduce–解决大数据计算
    • 分布式资源管理系统YARN
  • 处理海量数据的架构首选
  • 非常快得完成大数据计算任务
  • 已发展成为一个Hadoop生态圈

为什么使用Hadoop

  • 高扩展性,可伸缩
  • 高可靠性
    • 多副本机制,容错高
  • 低成本
  • 无共享架构
  • 灵活,可存储任意类型数据
  • 开源,社区活跃

Hadoop vs RDBMS

RDBMSHadoop
格式写数据时要求读数据时要求
速度读数据速度快写数据速度快
数据监管标准结构化任意结构数据
数据处理有限的处理能力强大的处理能力
数据类型结构化数据结构化,半结构化,非结构化
应用场景交互式OLAP分析
ACID事务处理
企业业务系统		处理结构化数据
海量数据存储计算

Hadoop生态圈

在这里插入图片描述

  • Hive定义了一种类似SQL的查询语言(HQL),将SQL转化为MapReduce任务在Hadoop上执行。通常用于离线分析。
  • Pig定义了一种数据流语言—Pig Latin，它是MapReduce编程的复杂性的抽象,Pig平台包括运行环境和用于分析Hadoop数据集的脚本语言(Pig Latin)。
  • impala： 一个开源的查询引擎。与hive相同的元数据，SQL语法，ODBC驱动程序和用户接口，可以直接在HDFS上提供快速，交互式SQL查询。impala不再使用缓慢的hive+mapreduce批处理，而是通过与商用并行关系数据库中类似的分布式查询引擎。
  • Presto是一个分布式的查询引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。presto的查询速度比hive快5-10倍
  • HCatalog是Hadoop的表存储管理工具。它将Hive Metastore的表格数据公开给其他Hadoop应用程序。使得具有不同数据处理工具（Pig，MapReduce）的用户能够轻松将数据写入网格。它确保用户不必担心数据存储在何处或以何种格式存储。
  • zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，解决分布式环境下的数据管理问题：统一命名，状态同步，集群管理，配置同步等。
  • Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。
  • Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
  • Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
  • Spark是一个用来实现快速而通用的集群计算的平台。扩展了广泛使用的MapReduce计算模型，而且高效地支持更多的计算模式，包括交互式查询和流处理。在处理大规模数据集的时候，速度是非常重要的。Spark的一个重要特点就是能够在内存中计算，因而更快。
  • HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。
  • mahout的主要目标是创建一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建只能应用程序。mahout现在已经包含了聚类，分类，推荐引擎（协同过滤）和频繁集挖掘等广泛使用的数据挖掘方法
  • oozie——一个能把多个MR作业组合为一个逻辑工作单元（一个工作流），从而自动完成任务调用的工具

Zookeeper

  • 是一个分布式应用程序协调服务
    • 解决分布式集权中应用系统一致性问题
  • 提供的功能
    • 配置管理,命名服务,分布式同步,队列管理,集群管理等
  • 特性
    • 全局数据一致性
    • 可靠性,顺序性,实时性
    • 数据更新原子性
  • Zookeeper集群
    • 角色:Leader,Follower,Observer

Hadoop架构

  • HDFS
    • 分布式文件系统,解决分布式存储
  • MapReduce
    • 分布式计算框架
  • YARN
    • 分布式资源管理系统
    • 在Hadoop2.x中引入
  • Common
    • 支持所有其他模块的公共工具程序

HDFS特点

  • HDFS优点
    • 支持处理超大文件
    • 可运行在廉价机器上
    • 高容错性
    • 流式文件写入
  • HDFS缺点
    • 不适合低延时数据访问场景
    • 不适合小文件存取场景
    • 不适合并发写入,文件随机修改场景

HDFS角色

  • Client:客户端
  • NameNode:元数据节点
    • 管理文件系统的Namespace/元数据
    • 一个HDFS集群只有一个Active的NN
  • DataNode:数据节点
    • 数据存储节点,保存和检索Block
    • 一个集群可以有多个数据节点
  • Secondary NameNode:从元数据节点
    • 合并NameNode的edit.logs到fsimagine文件中
    • 辅助NN将内存中元数据信息持久化

HDFS副本机制

  • Block:数据库
    • HDFS最基本的存储单元
    • 默认块大小:128M
  • 副本机制
    • 作用:避免数据丢失
    • 副本数默认为3
    • 存放机制:
      • 一个在本地机架节点
      • 一个在同机架不通过节点
      • 一个在不同机架的节点

HDFS高可用

  • 在1.x版本中
    • 存在Namenode单节点问题
  • 在2.x版本中
    • 解决:HDFS Federation方式,共享DN资源
    • Active Namenode
      • 对外提供服务
    • Standby Namenode
      • Active故障时可切换为Active

HDFS读文件

  1. 首先调用FileSystem.open()方法，获取到DistributedFileSystem实例
  2. DistributedFileSystem 向Namenode发起RPC(远程过程调用)请求获得文件的开始部分或全部block列表，对于每个返回的块，都包含块所在的DataNode地址
  3. DistributedFileSystem会向客户端client返回一个支持文件定位的输入流对象FSDataInputStream，用于客户端读取数据
  4. 客户端调用read()方法，FSDataInputStream就会找出离客户端最近的datanode并连接datanode
  5. FSDataInputStream对象中包含文件开始部分的数据块所在的DataNode地址，首先它会连接包含文件第一个块的DataNode。随后，在数据流中重复调用read()函数，直到这个块全部读完为止,如果第一个block块的数据读完，就会关闭指向第一个block块的datanode连接，接着读取下一个block块
  6. 如果第一批block都读完了，FSDataInputStream就会去namenode拿下一批blocks的location，然后继续读，如果所有的block块都读完，这时就会关闭掉所有的流
  7. read 方法是并行的读取 block 信息，不是一块一块的读取；NameNode 只是返回Client请求包含块的DataNode地址，并不是返回请求块的数据,最终读取来所有的 block 会合并成一个完整的最终文件

在这里插入图片描述

HDFS写文件

  1. Client发起文件上传请求，调用DistributedFileSystem对象的create方法，创建一个文件输出流（FSDataOutputStream）对象
  2. 通过DistributedFileSystem对象与Hadoop集群的NameNode进行一次RPC远程调用，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传；在HDFS的Namespace中创建一个文件条目（Entry），该条目没有任何的Block
  3. 通过FSDataOutputStream对象，向DataNode写入数据，数据首先被写入FSDataOutputStream对象内部的Buffer中，然后数据被分割成一个个Packet数据包
  4. 以Packet最小单位（默认64K），基于Socket连接发送到按特定算法选择的HDFS集群中一组DataNode（正常是3个，可能大于等于1）中的一个节点上，在这组DataNode组成的Pipeline上依次传输Packet：client请求3台DataNode中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然后B调用C，将整个pipeline建立完成，后逐级返回client
  5. 这组DataNode组成的Pipeline反方向上，发送ack，最终由Pipeline中第一个DataNode节点将Pipeline ack发送给Client
  6. 完成向文件写入数据，Client在文件输出流（FSDataOutputStream）对象上调用close方法，关闭流
  7. 调用DistributedFileSystem对象的complete方法，通知NameNode文件写入成功

在这里插入图片描述

m0_46480050
关注
Hadoop的生态系统
关注我！带你一路 "狂飙" 到底！
06-30 925
在上一篇文章 千锋大数据学院：Apache-Hadoop简介​zhuanlan.zhihu.com 中，我对hadoop做了一些简介。这次，我整理了一下hadoop的生态系统。hadoop生态系统，意思就是以hadoop为平台的各种应用框架，相互兼容，组成了一个独立的应用体系，也可以称之为生态圈。 通过以下的图： hadoop生态系统 我们可以可以总结如下常用的应用框架（图中没有的，我也列出了几个）： 1，HDFS（hadoop分布式文件系统） 是hadoop体系中数据存储管理的基础。他是
Hadoop生态系统介绍
qq_36896779的博客
10-05 967
Hadoop于2005年秋天作为Lucene的子项目Nutch的一部分正式引入Apache基金会。2006年3月份，Map-Reduce和Nutch Distributed File System(NDFS)分别被纳入Hadoop的项目中,当下 Hadoop 已经成长为一个庞大的生态体系，只要和海量数据相关的领域，都有 Hadoop 的身影。下图是一个 Hadoop 生态系统的图谱，详细列举了在
Hadoop
qq_42454058的博客
06-10 296
Hadoop的组成部分 hadoop2.0 以后的四个模块： - Hadoop Common:Hadoop模块的通用组件 - Hadoop Distributed File System：分布式文件系统 - Hadoop YARN：作业调度和资源管理框架 - Hadoop MapReduce：基于YARN的大型数据集并行计算处理框架 hadoop3.0 新扩展的两个模块： - Hadoop Ozone:Hadoop的对象存储机制 - Hadoop Submarine:Hadoop的机器学习引擎 Hadoop
Hadoop生态系统概览
kkchenjj的博客
07-10 1293
Hadoop生态系统包括一系列的工具和框架，它们共同提供了一个全面的大数据处理平台。Oozie的工作流定义是通过XML文件进行的，这使得工作流的定义和管理变得简单。</</</</</</</</</</</</</</</</Hive 是一个基于 Hadoop 的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，使 MapReduce 更为直观和简洁。HiveSQL 是 Hive 提供的 SQL 语言，用于处理存储在 Hadoop 文件系统中的大规模数据集。
HADOOP生态系统.docx
09-03
Hadoop生态系统是大数据处理的核心组成部分，它包含了多个组件，如HDFS（Hadoop Distributed File System）、Spark、Hive、Elasticsearch和Kafka，这些工具共同构建了一个高效、可扩展的数据处理平台。 HDFS是...
project-rhino:增强了针对Apache Hadoop生态系统的数据保护
05-24
是我们的开源工作，旨在增强Hadoop生态系统的现有数据保护功能，以应对这些挑战，并将代码贡献给Apache。 众所周知，Apache Hadoop生态系统的核心是： Hadoop Common：一组共享库 HDFS：Hadoop文件系统 MapReduce...
一步一步学习大数据：Hadoop生态系统与场景
01-27
【大数据Hadoop生态系统的概述】 大数据的出现是由于互联网和物联网的快速发展，导致数据量呈指数级增长。根据IDC的预测，到2020年，全球数据量将达到44ZB，远超传统存储技术和架构所能承载的范围。大数据的特性被...
《Hadoop生态系统》_陈新.pdf
07-17
Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。
hadoop生态系统介绍
02-17
详细介绍了hadoop生态圈，包括 基础介绍 HDFS, HDFS 2 MapReduce, YARN 以下简要介绍 Pig Hive Hbase, HOYA Mahout 其它
【Hadoop】Hadoop 生态系统及其组件
书山有路，学海无涯。记录成长，追逐梦想
05-15 7135
本篇文章将向大家介绍 Hadoop 生态系统的不同组件。也正是因为这些组件，使得 Hadoop 如此强大。通过学习 HDFS 和 HDFS组件、MapReduce、YARN、Hive、Pig、HBase 和 HBase组件、HCatalog、Avro、Thrift、Drill、Mahout、Sqoop、Flume、Ambari、Zookeeper 和 OOzie 等 Hadoop 生态系统组件，深入了解 Hadoop 生态系统。
Hadoop生态系统应用状况大调查：互联网篇！
gyx950724的博客
03-24 2142
国内外对hadoop生态系统的生存状况争论不休，既然如此，我们不妨摸底调查一番，看看国内一线互联网公司(具备自我搭建大数据平台能力的厂商)的大数据平台是如何搭建的?是否基于Hadoop生态系统?Hadoop的存在感有多少?庞大的Hadoop生态系统中又有哪些组件真正脱颖而出了呢?(本文内容来源于公开资料整理)　　BAT之阿里巴巴如果要论数据，恐怕只有以电商起家的阿里巴巴才能拥有如此丰富且庞大的数据...
深入探索【Hadoop】生态系统：Hive、Pig、HBase及更多关键组件（下）
最新发布
博客虽小，世界尽在其中
08-27 4993
本文深入探索了Hadoop生态系统的核心组成部分及其关键组件，特别是聚焦于Hive、Pig和HBase这三个重要工具。Hadoop作为大数据处理和分析的基石，通过其丰富的生态系统为企业和组织提供了强大的数据处理能力。 首先，文章介绍了Hive，作为Hadoop上的数据仓库工具，Hive允许用户通过类SQL的查询语言HiveQL来查询和分析存储在Hadoop分布式文件系统（HDFS）中的大规模数据。Hive特别适用于构建数据仓库、进行复杂的数据聚合和报表生成，为数据分析师和业务用户提供了简便的数据访问途径。
深入探索【Hadoop】生态系统：Hive、Pig、HBase及更多关键组件（上）
博客虽小，世界尽在其中
08-23 6461
本文深入探索了Hadoop生态系统的核心组成部分及其关键组件，特别是聚焦于Hive、Pig和HBase这三个重要工具。Hadoop作为大数据处理和分析的基石，通过其丰富的生态系统为企业和组织提供了强大的数据处理能力。 首先，文章介绍了Hive，作为Hadoop上的数据仓库工具，Hive允许用户通过类SQL的查询语言HiveQL来查询和分析存储在Hadoop分布式文件系统（HDFS）中的大规模数据。Hive特别适用于构建数据仓库、进行复杂的数据聚合和报表生成，为数据分析师和业务用户提供了简便的数据访问途径。
Hadoop的生态系统_hadoop生态系统以及每个部分的具体功能
2401_84264727的博客
05-16 297
还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！【完整版领取方式在文末！！内容实在太多，不一一截图了。
Hadoop生态系统全面介绍
五只鸭子的专栏
05-28 9883
Hadoop作为大数据的分布式计算框架，发展到今天已经建立起了很完善的生态，本文将一一介绍基于Hadoop生态的一系列框架和组件。 Flume 简介： Flume 是一个分布式、高可用的服务，用于高效收集、聚合和移动大量日志数据。 作用： Flume 主要承载的作用是收集各个数据源的事件或日志数据，然后将其Sink到数据库 架构 Flume的实现架构原理也非常简单，通过Agent代理来实现数据的收集，一个Agent包含了Source，channel，Sink三个组件。 Source：采集的数据来源
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值