Hadoop系列之七:分布式文件系统HDFS(2)

Hadoop Core_HDFS总结(四)——HDFS数据格式详解   据存储空间是有限的,数据本身和增量是动态变化的,企业要追求最佳的存储与计算的性价比。数据格式描述了数据保存在文件或者记录中的规则。HDFS 中分为文件格式和压缩格式。 1、文件格式 文件格式按面向的存储形式不同,分为面向行和面向列的两大类文件格式。 面向行 文本文件格式(.txt) 是(计算可切分) 查看便编辑简单... 阅读详情
版权声明:原创作品,如需转载,请与作者联系。否则将追究法律责任。
学习联系QQ:1660809109、1661815153、2813150558
更多资讯:www.magedu.com

1、访问HDFS文件系统

HDFS是工作于用户空间的文件系统,它的树状文件系统是独立的,不能像传统上工作于内核空间的文件系统一样挂载至当前操作系统的目录树上对HDFS进行访问,传统上实现文件或目录管理的命令如ls、cat等此处也无法正常使用。对HDFS文件系统上的文件进行访问,需要通过HDFS的API或者由hadoop提供的命令行工具进行。

1.1 HDFS用户接口

(1) hadoop dfs命令行接口;
(2) hadoop dfsadmin命令行接口;
(3) web接口;
(4) HDFS API;

前三者方式在后文会有详细的使用说明。无论基于何种方式与HDFS文件系统交互,其读取或写入数据的过程是相同的,下面分别对写操作和读操作的过程进行详细描述。

1.2 向HDFS文件系统保存数据

当需要存储文件并写数据时,客户端程序首先会向名称节点发起名称空间更新请求,名称节点检查用户的访问权限及文件是否已经存在,如果没有问题,名称空间会挑选一个合适的数据节点分配一个空闲数据块给客户端程序。客户端程序直接将要存储的数据发往对应的数据节点,在完成存储后,数据节点将根据名称节点的指示将数据块复制多个副本至其它节点。

(1) 向HDFS集群中保存数据之前,HDFS客户端需要事先知悉目标文件系统使用的“块大小”以及“复制因子(Replication Factor,即每一个块需要保存的副本数目)”。在提交数据至HDFS之前,HDFS客户端需要将要保存的文件按块大小进行分割,并将其逐个向名称节点发起块存储请求,此时,根据复制因子,客户端会要求名称节点给出与复制因子相同个数的空闲块,这里假设为3个;

(2) 名称节点需要从找出至少3个具有可用空闲块的数据节点(同复制因子),并将这3个节点的地址以距客户端的距离由近及远的次序响应给客户端;

(3) 客户端仅向最近的数据节点(假设为DN1)发起数据存储请求;当此最近的数据节点存储完成后,其会将数据块复制到剩余的数据节点中的一个(假设为DN2),传输完成后,由DN2负责将数据块再同步至最后一个数据节点(假设为DN3);这个也称为“复制管道(replication pipeline);

(4) 当三个数据节点均存储完成后,它们会将“存储完成(DONE)”的信息分别通知给名称节点;而后,名称节点会通知客户端存储完成;

(5) 客户端以此种方式存储剩余的所有数据块,并在全部数据块存储完成后通知名称节点关闭此文件,名称节点接着会将此文件的元数据信息存储至持久存储中;

1.3 从HDFS读取数据

HDFS提供了POSIX风络的访问接口,所有的数据操作对客户端程序都是透明的。当客户端程序需要访问HDFS中的数据时,它首先基于TCP/IP协议与名称节点监听的TCP端口建立连接,接着通过客户端协议(Client Protocol)发起读取文件的请求,而后名称节点根据用户请求返回相关文件的块标识符(blockid)及存储了此数据块的数据节点。接下来客户端向对应的数据节点监听的端口发起请求并取回所需要数据块。

 

(1) 客户端向名称节点请求访问某文件;

(2) 名称节点向客户端响应两个列表:(a)此文件包含的所有数据块,(b)此文件的每个数据块所在的数据节点列表;

(3) 客户端将每一个数据块从存储列表中最近的数据节点读取,而后在本地完成合并; 

 

2、名称节点的可用性

由前一节所述的过程可以得知,名称节点的宕机将会导致HDFS文件系统中的所有数据变为不可用,而如果名称节点上的名称空间镜像文件或编辑日志文件损坏的话,整个HDFS甚至将无从重建,所有数据都会丢失。因此,出于数据可用性、可靠性等目的,必须提供额外的机制以确保此类故障不会发生,Hadoop为此提供了两种解决方案。

最简单的方式是将名称节点上的持久元数据信息实时存储多个副本于不同的存储设备中。Hadoop的名称节点可以通过属性配置使用多个不同的名称空间存储设备,而名称节点对多个设备的写入操作是同步的。当名称节点故障时,可在一台新的物理主机上加载一份可用的名称空间镜像副本和编辑日志副本完成名称空间的重建。然而,根据编辑日志的大小及集群规模,这个重建过程可能需要很长时间。

另一种方式是提供第二名称节点(Secondary NameNode)。第二名称节点并不真正扮演名称节点角色,它的主要任务是周期性地将编辑日志合并至名称空间镜像文件中以免编辑日志变得过大。它运行在一个独立的物理主机上,并需要跟名称节点同样大的内存资源来完成文件合并。另外,它还保存一份名称空间镜像的副本。然而,根据其工作机制可知,第二名称节点要滞后于主节点,因此名称节点故障时,部分数据丢失仍然不可避免。

尽管上述两种机制可以最大程序上避免数据丢失,但其并不具有高可用的特性,名称节点依然是一个单点故障,因为其宕机后,所有的数据将不能够被访问,进而所有依赖于此HDFS运行的MapReduce作业也将中止。就算是备份了名称空间镜像和编辑日志,在一个新的主机上重建名称节点并完成接收来自各数据节点的块信息报告也需要很长的时间才能完成。在有些应用环境中,这可能是无法接受的,为此,Hadoop 0.23引入了名称节点的高可用机制——设置两个名称节点工作于“主备”模型,主节点故障时,其所有服务将立即转移至备用节点。进一步信息请参考官方手册。

在大规模的HDFS集群中,为了避免名称节点成为系统瓶颈,在Hadoop 0.23版本中引入了HDFS联邦(HDFS Federation)机制。HDFS联邦中,每个名称节点管理一个由名称空间元数据和包含了所有块相关信息的块池组成名称空间卷(namespace volume),各名称节点上的名称空间卷是互相隔离的,因此,一个名称节点的损坏并不影响其它名称节点继续提供服务。进一步信息请参考官方手册。

3、HDFS的容错能力

HDFS故障的三种最常见场景为:节点故障、网络故障和数据损坏。

在不具备名称节点HA功能的Hadoop中,名称节点故障将会导致整个文件系统离线;因此,名称节点故障具有非常严重的后果。具体的解决方案请见“名称节点的可用性”一节。

在HDFS集群中,各数据节点周期性地(每3秒钟)向名称节点发送心跳信息(HEARTBEAT)以通告其“健康”状况;相应地,名称节点如果在10分钟内没有收到某数据节点的心跳信息,则认为其产生了故障并将其从可用数据节点列表中移除,无论此故障产生的原因是节点自身还是网络问题。

客户端与数据节点之间的数据传输基于TCP协议进行,客户端每发送一个报文给数据节点,数据节点均会返回一个响应报文给客户端;因此,如果客户端重试数次后仍未能正常接收到来自数据节点的响应报文,其将放弃此数据节点转而使用名称节点提供的列表中的第二个数据节点。

网络传输中的噪声等都有可能导致数据讹误,为了避免数据节点存储错误的数据,客户端发送数据至数据节点时会一并传送此数据的校验和,而数据节点会连同数据一起存储此校验和。HDFS集群中,数据节点周期性地每将自己持有的所有数据块信息报告给名称节点,但在发送每个数据块的相关信息之前,其会根据校验和检验此数据块是否出现了讹误,如果检验出错,数据节点将不再向名称节点通告自己持有此数据块,名称节点从而可以得知此数据节点有数据块损坏。

参考文献:
Data-Intensive Text Processing with MapReduce
Hadoop in prictise
Hadoop Operations
Hadoop Documentation

本文出自 “马哥教育Linux运维培训” 博客,转载请与作者联系!

学习联系QQ:1660809109、1661815153、2813150558
更多资讯:www.magedu.com

Hadoop分布式文件系统(HDFS)快速入门 推荐书目电子版下载 HDFS知识梳理详细版 HDFS快速入门 应用背景 简介 基本原理 优点 缺点 设计 概念 读写流程 文件写入 文件读取 命令行接口 Hadoop分布式文件系统命令行接口详细版 具体说明 Java接口 连接Hadoop集群 Hadoop分布式文件系统Java接口详细版 简介 文件系统 HDFS文件系统详细版 简介 接口 阅读详情

相关推荐

Hadoop2.x HDFS源码剖析---概述

一、HDFS概述 基于hadoop2.6 HDFS被设计能够运行在通用硬件上、提供流式数据操作、能够处理超大文件的分布式文件系统。 特点:高容错和高吞吐量、易扩展、高可靠性 HDFS的四个核心模块:namenode节点、datanode节点、客户端、HDFS协议(RPC协议、流式接口协议:HTTP和TCP) 基本概念 1、数据块(block) 数据块是HDFS文件处理(读和写)的最小单元,...

l1394049664的博客 6754

HDFS读写文件实例与解析

使用实例: 1.项目结构(引入包hadoop-0.20.2-core.jar和commons-logging.jar) 2.代码 HdfsCommon.java public class HdfsCommon { private Configuration conf; private FileSystem fs; public HdfsCommon() th...

weixin_30387663的博客 327

【Hadoop】HDFS分布式文件系统

HDFS-分布式文件系统基本知识简介HDFS相关概念块(Block)名称节点(NameNode)数据节点(DataNode)第二名称节点(Secondary NameNode)HDFS体系结构HDFS存储原理 基本知识 简介 1. 分布式文件系统是Hadoop两大核心组成部分之一,提供了在廉价服务器集群中进行大规模分布式文件存储的能力。 2. HDFS具有很好的容错能力,并且兼容廉价的硬件设备,因...

学习记录分享 2723

HDFS源码解析之HadoopRPC(一)

一、我们应该如何去阅读一个大数据开源框架的源码 1. 阅读源码的思路 1.1 掌握其网络通信架构 我们应该都知道在大数据领域中,包含了很多大数据框架,例如Spark,Hadoop,Kafka,Zookeeper,Flink等,在这些组件当中,他们都是分布式的,我们想要阅读他们源码的时候,必须要明白分布式系统之间,他们是如何交互的,例如Spark之前采用的是akka,现在采用的Netty,kafka采用的是NIO等,也就不一一列举了,我们阅读源码的时候,如果不了解他们内部是如何通信的,那么我们根本无法知道他们

百看不如一RUN 426

Hadoop参考资料

Hadoop参考资料,hadoop安装,hadoop集群基本部署。

大数据工程师参考文献

大数据工程师参考文献大数据工程师参考文献大数据工程师参考文献

HDFS支持的文件格式(SequenceFile,Avro,RCFile,Parquet)(七)

支持的文件格式一.支持的文件格式 一.支持的文件格式 SequenceFile 以二进制键值对的形式存储数据,支持三种记录存储方式。 ➢ 无压缩:io 效率较差,相比压缩,不压缩的情况下没有什么优势。 ➢ 记录级压缩:对每条记录都压缩,这种压缩效率比较一般。 ➢ 块级压缩:这里的块不同于 hdfs 中的块的概念.这种方式会将达到指定 块大小的二进制数据压缩为一个块。 Avro 将数据定义和数据一起存储在一条消息中,其中数据定义以 JSON 格式 存储,数据以二进制格式存储。Avro 标记用于将大型数据集分割

May_J_Oldhu的博客 1945

Hadoop大数据处理方面的文献

基于Hadoop的大数据处理技术,包括原理介绍、数据处理流程等

深入理解HDFS:Hadoop分布式文件系统

文本详细介绍了HDFS中的许多概念,对于理解Hadoop分布式文件系统很有帮助。1. 介绍在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中,引入网络,就不可避免地引入了所有网络编程的复杂性,例如挑战之一是如果保证在节点不可用的时候数据不丢失。传统的网络文件系统(NFS)虽然也称为分布式文件系统,但是其存在一些限制。由于

Spring , Hadoop, Spark , BI , ML 5万+

[终于解决]Ubuntu14.04 32位安装移动网卡(0bda:b711)驱动8188gu tplink-WN726n

大致梳理一下问题解决的流程 首先,在台式机做了双系统,台式机只有一个网线接口,由于项目要求,需要占用网口传输数据,所以用之前买的tplink-WN726n免驱版2.0的移动网卡 【note】免驱版只能在Windows下安装使用,在Ubuntu系统中无法使用,所以,需要另辟蹊径。 找了很多资料,尝试很多方法,有的复杂有的简单,终于解决。 【思路】首先在Ubuntu系统中输入lsusb,查看是否检测到USB网卡设备。然后从Github中复制代码,构建,安装,然后modprobe一下,到前面那步还不行,就再来一步

瑞o 1万+

5分钟看懂LTE注网全流程:从PLMN选择到小区驻留的log分析技巧

本文深入解析了LTE终端从开机到成功驻留小区的完整流程,重点分享了基于QXDM和QCAT工具的log分析实战技巧。文章详细拆解了PLMN选择、System/Band扫频、小区搜索与同步、系统消息解析及驻留等关键步骤,并提供了高频问题场景的排查思路,帮助网络优化工程师快速定位终端侧、射频环境或网络配置问题。

app77的博客 435

Hadoop分布式文件系统(HDFS)知识梳理(超详细)

推荐书目电子版下载 HDFS知识梳理 应用背景 简介 基本原理 优点 缺点 设计 概念 读写流程 文件写入 文件读取 命令行接口 Java接口 连接Hadoop集群 Hadoop分布式文件系统Java接口详细版 简介 文件系统 接口

围炉夜敲的博客 3952

Anomalib实战:从零开始构建自定义数据集的异常检测模型

本文详细介绍了如何使用Anomalib 2.1.0从零开始构建自定义数据集的异常检测模型。通过实战演示,指导读者准备符合规范的数据集结构,快速上手训练Patchcore等先进算法,并完成模型推理与调优,为工业质检、医疗影像等场景提供高效的视觉异常检测解决方案。

weixin_29165465的博客 109

Hadoop技术(一)分布式文件系统HDFS

Hadoop介绍 HDFS理论 HDFS集群搭建 CLI使用 API使用 第一章 统一思维 单机大数据处理实现以及问题 问题引入 问题 1T 文件,有数字,按行存储 ,每行不是特别长 要求 找出存在的重复行(假设只有两行) 全排序 单词重复数 环境 只有一台计算机 ,要求在 128M,64M,256G的环境下都能够运行 注意 内存不能放下全量数据 ,最大xxMB !!! 我的思路: 比较法...

时间静止 5257

一文解读DeepSeek训练数据集

本文重点以DeepSeek为例,详细介绍预训练数据集相关内容。大语言模型LLM(如DeepSeek、ChatGPT、文心一言等)的“智慧”源于它们学习的海量数据集。简单来说,数据集就是模型的“知识库”,通常由互联网公开的文本、图片、视频等。这些数据需满足两个特点:规模大和多样性。规模大是指数据量可达千亿级词汇,让模型学习复杂规律;多样性则涵盖多领域(如科技、文学)、多语言、多形式(对话、新闻),帮助模型适应不同场景。例如,训练数据中既有百科知识,也有日常对话,模型才能既解答专业问题,又能闲聊。

u013891230的博客 7092

COMSOL仿真避坑指南:列管反应器模拟中多孔介质与化学反应设置的5个常见错误

本文详细解析了COMSOL仿真中列管反应器模拟的5个常见错误,包括多孔介质模型选择、化学反应接口配置、对流扩散方程处理、薄层热阻设置及网格独立性验证。特别针对多孔介质与化学反应设置的误区,提供了实用的判断标准和修正方法,帮助工程师避免计算偏差,提升仿真精度。

weixin_29597551的博客 325

Hadoop之01:HDFS分布式文件系统

1. 理解分布式思想 2. 学会使用HDFS的常用命令 3. 掌握如何使用java api操作HDFS 4. 能独立描述HDFS三大组件namenode、secondarynamenode、datanode的作用 5. 理解并独立描述HDFS读写流程 6. HDFS如何解决大量小文件存储问题

我的博客 1651

第二十届全国大学生智能汽车竞赛极速光电组:MicroPython与恩智浦RT1021的硬件编程实战指南

本文为参加第二十届全国大学生智能汽车竞赛极速光电组的同学提供了一份详尽的MicroPython与恩智浦RT1021硬件编程实战指南。文章深入剖析了选择MicroPython与RT1021这对组合的优势,详细讲解了从开发环境搭建、基础硬件控制(如GPIO、PWM、编码器、CCD)到系统集成(平衡控制、循迹算法)与多任务调试的全过程,旨在帮助参赛者降低嵌入式开发门槛,高效备赛。

wdx0123456的博客 851

Hadoop一 HDFS分布式文件系统

Hadoop与HDFS的关系 HDFS客户端 - Jetbrians产品插件的使用 HDFS文件系统常用命令 配置HDFS集群 IDEA配置hadoop客户端 hdfs的fsck命令详解 HDFS存储原理 HDFS修改block块大小 HDFS修改副本数量

东风麦芽糖 1430

基于Qt C++开发一套大疆农业无人机的AI飞控系统

如果需要补充**多机协同作业代码**、**农田测绘数据导出**、**作业数据统计大屏**或**移动端地面站适配**功能,可以告知具体需求,我会针对性完善。"开启" : "关闭") << "喷洒,流量:" << flowRate << "L/min";emit errorOccurred(QString("SDK初始化失败,错误码:%1").arg((int)ret));report += QString("问题区域数量:%1\n").arg(info.problemAreas.size());

寒寒豆豆软件公司的博客 388

使用机器学习算法预测黄金价格

在本文中,我们将使用线性回归、XGBoost和LSTM这三种不同的机器学习算法来预测黄金价格。接下来,我们使用线性回归、XGBoost和LSTM分别建立了模型,并进行了训练和预测。这些机器学习算法可以帮助我们对黄金价格进行预测,但请注意,市场价格受多种因素影响,因此预测结果可能并不完全准确。接下来,我们需要对数据进行一些预处理,以便用于机器学习模型的训练和测试。我们将使用80%的数据作为训练集,20%的数据作为测试集。最后,我们将绘制每个模型的预测结果,并将其与实际价格进行比较,以评估模型的性能。

QromMatlab的博客 1318
上一篇: Hadoop系列之六:分布式文件系统HDFS
下一篇: Hadoop系列之八:Hadoop集群
magedu_Linux
博客等级 码龄11年 16粉丝 11原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值