大数据管理与分析 第三章 HDFS

原创 已于 2022-07-25 10:09:24 修改 · 297 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hdfs #hadoop #大数据

于 2022-06-23 16:35:34 首次发布
HDFS（Hadoop Distributed File System）是一种分布式文件系统，适用于大规模数据处理。其主要特点是将大文件分成块进行存储，每个块有多个副本以保证容错性。NameNode作为目录节点管理命名空间和元数据，DataNode负责数据的存储和读取。HDFS不支持低延迟访问和多用户写入，适合批量读写操作。数据存放策略以机柜为基础，确保高可用性和带宽利用。写入时采用流水线复制策略，读取时根据机柜ID选择最近的数据节点。HDFS通过心跳检测、副本策略和简单的一致性模型确保可靠性。

HDFS

HDFS

局限性

  • 不适合低延迟数据的访问
  • 无法高校存储大量的小文件
  • 不支持多用户写入以及任意修改文件

块

  • HDFS分布式文件系统中的文件被分成快进行存储，“块”是文件处理的逻辑单元
  • 默认块是64MB，比文件系统的快大得多
  • 使用抽象块的好处：
    可以存储任意大的文件，而不会受网络中任意单个节点磁盘大小限制；
    使用抽象块作为操作单元，可以简化存储系统；
    块有利于复制容错的实现

目录节点

目录节点 NameNode 是集群中的主节点，负责管理整个HDFS的命名空间和元数据，是客户端访问HDFS系统的入口，目录节点保存文件系统的三种元数据

  • 命名空间：整个系统的目录结构
  • 数据块与文件名的映射表
  • 每个数据块副本的位置信息，每个数据块都默认有3个副本。“副本因子”，保存多少分副本，也在目录节点中

数据节点

数据节点一般就是集群中的一台机器，复杂数据的存储和读取

  • 写入的时候，由目录节点分配数据块的保存，客户端直接写入到对应的数据节点
  • 读取时，客户端从目录节点获得数据块的映射关系，直接到对应的数据接待你读取数据
  • 数据节点要根据目录节点的命令创建、删除数据块和进行副本复制

在这里插入图片描述
在这里插入图片描述
HDFS 是不能直接访问各个datanode 的Linux文件系统的

HDFS 命名空间

  • Hadoop 文件命名遵循了传统的 “目录/子目录/文件”格式，通过命令行或者API创建目录，创建、删除文件等
  • 命名空间由目录节点管理，对命名空间的变动都会被HDFS记录下来

HDFS 存储策略

副本数据

  • 文件分成固定大小的块，每个数据块都冗余存储
  • 数据节点定期发送心跳信号和数据列表给目录节点，心跳信号使目录节点直到该数据节点还是有效的。而数据块列表包括了该数据节点上面所有数据块的编号

在这里插入图片描述

数据存取策略

数据存放
  • hadoop采用以机柜为基础的数据存放策略，提高数据可靠性和充分利用网络带宽
  • 默认副本因子是3，一块数据有3个地方存放，两份在同一个rack id的不同机器上，一份放在不同rack id的机器上。也就是说 2/3数据在同一个机柜的不同机器上，1/3在另一个机柜
  • 计科一进行数据恢复，又能提高读写性能
数据读取
  • 读取数据时，如果又块数据和客户端的机柜id一样，优先选择该数据节点，客户端直接和数据节点建立连接，读取数据
  • 如果没有，可以随机选择数据节点
数据复制
  • 采用流水线复制策略

当客户端要在HDFS上写一个文件：

  • 首先将这个文件写在本地
  • 对文件进行分块，64M一块
  • 每个数据块都对HDFS目录节点发起写请求
  • 目录节点选择一个数据节点列表（副本位置），返回给客户端
  • 客户端把数据写入第一台数据节点，并把列表传给数据节点
  • 当数据节点收到4KB数据时，写入本地，并发起连接到下一个数据节点，把4K传过去，形成一条流水线
  • 最后当文件写完的时候，数据复制也同时完成

HDFS通讯协议

  • HDFS通讯协议在TCP/IP基础上开发
  • 客户端使用Client协议和目录节点通讯
  • 目录节点和数据节点使用Datanode协议
  • 客户端和数据节点的交互通过远程过程调用（RPC，Remote Rocedure Call）
    在这里插入图片描述

HDFS可靠性设计

  • HDFS要在应产出措施保证目标可靠

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

分布式文件系统的设计需求

  • 透明性
  • 并发控制
  1. 客户端对文件的读写不应该影响其他客户端对通过一个文件的读写
  2. HDFS机制非常简单，任何时间都只允许一个写的客户端，问肩颈创建并写入之后不再改变，一次写多次读。

  • 文件复制功能：HDFS 默认有3个副本

  • 硬件和操作系统的异构性：HDFS由JAVA实现，可以在不同操作系统和计算机上实现相同的客户端和服务成序

  • 容错能力：心跳检测，检测文件快的完整性，集群负载均衡，为何多个Fslmage 和 Editlog 的拷贝

  • 安全性问题：HDFS安全性弱，只有文件续可控制

HDFS基本特征

  • 顺序式文件访问：HDFS对数虚度写作了忧患，执行大量数据的顺序读出，对于随机访问的负载较高
  • 简单的一致性模型（一次写入多次读）支持在文件尾部添加新的数据
  • 数据库存储模式： 基于块的文件存储，多副本数据块形式存储
大数据｜HDFS分布式文件系统
知识库搭建ing
03-07 4015
大数据｜HDFS分布式文件系统
HDFS文件系统命名空间
superSaiyaPeople的博客
03-18 6604
HDFS Namespace 在HDFS中，我们知道NameNode负责管理文件系统的命名空间，那么NameNode到底怎么管理HDFS的命名空间，又有哪些内容需要管理呢？我们接下来将讨论到这两个问题。 作为HDFS的Master，NameNode掌握着整个HDFS的文件目录树及其目录与文件，这些信息会以文件的形式永久地存储在本地磁盘。我们可以在$HADOOP_HOME/tmp/dfs/nam...
HDFS Federation
u011519828的专栏
10-18 1660
这个单独的Namenode管理着数个Datanode，Block分布在各个Datanode中，每个Datanode会周期性地向此Namenode发送心跳消息，报告自己所在Datanode的使用状态。命名空间管理是指命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。处理Datanode向Namenode注册的请求，处理Datanode的成员关系，处理来自Datanode周期性的心跳。处理与块相关的操作，包括块的创建、删除、修改及获取块信息。
一篇文章了解HDFS名称空间NameSpace
尹忠政的博客
10-24 7187
一篇文章了解HDFS名称空间NameSpace 文章目录一篇文章了解HDFS名称空间NameSpaceNamespace（名称空间）文件结构文件系统元数据（第一行）imgVersionnumFilesgenStamp目录元数据pathreplicasmtimeatimeblocksiznsQuotadsQuotausernamegroupperm文件元数据(包含目录元数据)blockidnumBytesgenStampFSImageEditsBlocksMap数据结构原理LightWeightGSet构造方
hadoop入门十一（HDFS基本原理和操作）
盼盼
10-17 4928
Hadoop 2.x HDFS新特性 HDFS联邦 HDFS HA(要用到Zookeeper) HDFS快照 解决了namenode单点得问题 高可用性 我有一个3000个主机，是不是得写3000个hosts文件，3000两两面密码，所以在企业级应用得时候还是有问题得。 快照得功能：是恢复到某个时刻得文件得内容。 操作命令与1.0x也是不同得。管理命令手册回顾：HDFS两层模型 Block
Hadoop--NameSpace（名称空间）
2301_77948840的博客
02-22 1089
HDFS 的名称空间是一个逻辑上的文件系统目录树，用于组织文件和目录，并维护元数据信息。名称空间的元数据存储在 NameNode 的内存中，并持久化到磁盘的 fsimage 和 edits 日志 文件中。
大数据框架Hadoop：第一章 HDFS分布式文件系统(一)【NameNode和SecondaryNameNode】
qq_34577182的博客
12-13 2298
第一章 Hadoop 分布式文件系统HDFS 第一代大数据框架Hadoop由：HDFS分布式文件系统、MapReduce计算框架和YARN资源调度框架组成，本文为学习HDFS分布式文件系统时记录的学习笔记。 文章目录第一章 Hadoop 分布式文件系统HDFS前言一、什么是Hadoop?1.hadoop的发展历史起源介绍2.hadoop的发展历史起源构二、HDFS分布式文件系统1.分布式文件系统的理解2.hdfs的架构详细剖析1. 文件分块存储&3副本2. 抽象成数据块的好处3.HDFS架构3.h
厦门大学-林子雨-大数据技术基础-第3章 分布式文件系统HDFS-上机练习-熟悉常用的HDFS操作
11-20
"厦门大学-林子雨-大数据技术基础-第3章 分布式文件系统HDFS-上机练习-熟悉常用的HDFS操作" HDFS（Hadoop Distributed File System）是Hadoop生态系统中的核心组件之一，它是基于分布式存储技术的文件系统，旨在...
大数据技术原理与应用（第三章HDFS测试）
m0_47554321的博客
10-16 878
大数据技术原理与应用（第三章测试）
Hadoop分布式文件系统——HDFS介绍
weixin_43485035的博客
09-30 1455
Hadoop分布式文件系统——HDFS介绍 1、介绍 HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。 2、HDFS 设计原理 2.1 HDFS 架构 HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 DataNode(DN) 组成： NameNode : 负责执行有关文件系统命名空间 的操作，例如打开，关闭、重命名文件和目录等。它同时还负责集群元数据的存储，记录着文件中
轻松入门大数据 第3章 入门到进阶：系统玩转分布式文件系统HDFS 3.1 Hadoop之HDFS 3.1.5 文件系统命名空间
代码改变世界
05-14 275
轻松入门大数据 第3章 入门到进阶：系统玩转分布式文件系统HDFS 3.1 Hadoop之HDFS 3.1.5 文件系统命名空间
HDFS副本存放机制和流水线复制
qq_41609775的博客
09-05 3316
1.HDFS副本存放机制 在HDFS中，一个文件会被拆分为一个或多个数据块。默认情况下，每个数据块都会有3个副本。每个副本都会被存放在不同的机器上，而且每一个副本都有自己唯一的编号。 NameNode节点选择一个DataNode节点去存储block副本的过程就叫做副本存放，这个过程的策略其实就是在可靠性和读写带宽间的权衡。 《Hadoop权威指南》中副本存放的默认方式： 第一个副本会随机选择，...
HBase大数据分布式数据库
weixin_46074059的博客
12-11 1348
HBase HBase介绍 简介 是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库 利用Hadoop HDFS作为其文件存储系统 利用Zookeeper作为其分布式协同服务主要用来存储非结构化和半结构化的松散数据（列存 NoSQL 数据库） 优点 容量大 单表可以有百亿行、百万列 面向列 数据在表中是按照某列存储的，这样在查询只需要少数几个字段的时候，能大大减少读取的数量 多版本 每一个列的数据存储有多个Version 稀疏性 为空的列并不占用存储空间，表可以
大数据基础知识
星球奋斗者
02-28 1万+
大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。灵活的可扩展性灵活的数据模型与云计算紧密融合现在已经有很多公司使用了NoSQL数据库：GoogleFacebookMozillaAdobeFoursquareLinkedInDigg百度、腾讯、阿里、新浪、华为……Spark的特点运行速度快：使用DAG执行引擎以支持循环数据流与内存计算容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程。
hadoop的命名空间用来保证hdfs被连接时的高可用
醉糊涂仙的博客
08-26 5563
示例:zookeeper<property> <name>hbase.zookeeper.quorum</name> <value>flux04:2181,flux05:2181,flux06:2181</value> </property>示例:<property> <name>hbase.rootdir</name> <value>hdfs://hadoop01:9000
HDFS命名空间管理
weixin_30877227的博客
07-26 2083
转载于:https://www.cnblogs.com/fanweisheng/p/11250175.html
Hadoop NameNode详解
热门推荐
雾幻的博客
12-04 2万+
NameNode在内存中保存着整个文件系统的名字空间和文件数据块的地址映射(Blockmap)。如果NameNode宕机，那么整个集群就瘫痪了 整个HDFS可存储的文件数受限于NameNode的内存大小 这个关键的元数据结构设计得很紧凑，因而一个有4G内存的Namenode就足够支撑大量的文件和目录。 一般情况下，单namenode集群的最大集群规模为4000台 NameNode负责：文件...
hadoop大数据技术与应用第三章hdfs的操作
最新发布
03-10
<think>嗯，用户需要关于Hadoop HDFS操作第三章的学习资料或教程。首先，我得回想一下Hadoop HDFS的核心操作，然后整理出第三章可能涵盖的内容。根据用户的引用资料，他们提到了HDFS客户端配置、文件操作命令、路径协议区分和MapReduce任务执行。可能第三章会深入这些操作，比如更详细的命令、权限管理、高级配置等。 我需要确保回答结构清晰，分步骤讲解。用户提供的引用中有具体的命令示例，比如hdfs dfs -copyToLocal和hadoop fs -mkdir，这些可以作为基础操作的例子。同时，用户可能还需要了解如何区分HDFS和本地路径，引用4提到使用协议头，这部分需要强调。 另外，用户可能需要学习资源推荐，比如官方文档、书籍或在线课程。比如《Hadoop权威指南》和Hadoop官网的文档。还要注意引用用户提供的参考资料，正确标注引用标记，如[^1]、[^2]等。 可能还需要生成相关问题，帮助用户进一步学习，比如HDFS权限管理、与其他存储系统的比较、备份机制等。确保问题覆盖用户可能感兴趣的扩展内容。 最后，检查回答是否符合系统级指令：使用正确的中文，LaTeX格式正确，行内数学表达式用$...$，独立公式用$$...$$，虽然当前内容可能不需要太多数学公式，但如果有的话要正确应用。确保引用标记正确添加，比如每个引用来源的末尾自然标注。</think>### Hadoop HDFS 操作 第三章学习指南 以下内容基于Hadoop 3.x版本，涵盖HDFS核心操作、文件管理及开发实践，结合引用内容整理关键知识点。 --- #### 一、HDFS基础操作 1. **文件上传与下载** - 下载文件到本地（使用两种方式）： ```bash hdfs dfs -copyToLocal /user/dfstest/a.txt /data/hdfs_test/ # 直接下载[^3] hdfs dfs -get /user/dfstest/c.txt /data/hdfs_test/ # 等效于copyToLocal[^3] ``` - 查看文件内容（分页显示）： ```bash hdfs dfs -cat <src> | more # 通过管道符限制输出[^2] ``` 2. **路径协议区分** - **Linux本地路径**：以`file://`开头，如`file:///home/user/data` - **HDFS路径**：需指定NameNode地址和端口，如`hdfs://node1:8020/user/input`[^4] --- #### 二、HDFS客户端开发 1. **Java客户端配置** - Gradle依赖配置（Hadoop 3.3.1）： ```gradle implementation 'org.apache.hadoop:hadoop-client:3.3.1' # 核心依赖 ``` - 初始化HDFS客户端示例： ```java Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://node1:8020"); FileSystem fs = FileSystem.get(conf); ``` 2. **执行MapReduce任务** - 示例命令（统计匹配正则表达式的词频）： ```bash hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.2.jar \ grep /input/hadoop /input 'dfs[a-z.]+' # 输入路径为HDFS中的/input/hadoop[^5] ``` --- #### 三、学习资料推荐 1. **官方文档** - [Hadoop 3.3.1官方文档](https://hadoop.apache.org/docs/stable/)：包含HDFS架构、API详解及配置参数说明。 2. **书籍** - 《Hadoop权威指南》（第四版）：第三章专门讲解HDFS操作与设计原理。 3. **在线课程** - Coursera课程《Hadoop平台与应用》：涵盖HDFS文件操作和MapReduce编程。 --- §§ 相关问题 §§ 1. HDFS如何管理文件权限？是否与Linux权限机制一致？ 2. HDFS与其他分布式存储系统（如S3）在操作上有何区别？ 3. 如何通过Java API实现HDFS文件的断点续传？ 4. HDFS的副本机制如何配置？默认策略是什么？ 5. HDFS的NameNode和DataNode故障恢复流程是怎样的？ [^1]: Gradle依赖配置参考 : HDFS文件查看命令 [^3]: 文件下载操作示例 : 路径协议区分规则 [^5]: MapReduce任务执行流程
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值