Hadoop学习笔记之HDFS

Hadoop HDFS源码学习笔记(五) 3、client端read数据 通过调用DFSDataInputStream的read方法,最终调用了DFSInputStream的read方法,而该类主要有两个read函数,分别为: public synchronized int read(byte buf[], int off, int len) throws IOException public int read(long pos 阅读详情

Hadoop简介

优点

1、高可靠性:可以将数据分发到多个副本上进行存储,并且在副本损坏的时候,及时将副本的数据同步到新的副本中
2、高扩展性:横向扩展,数以千计的节点
3、高效性:基于MapReduce,可以进行并行处理数据,最后再合并计算结果
4、高容错性:能够自动将失败的任务进行重新分配

组成

1.0

MR + HDFS +Common(辅助工具)

2.0

MR + HDFS + YARN + Common(辅助工具)

区别

1.0时,计算的资源分配也是由MR来进行调度的,2.0之后,增加了YARN,推荐使用YRAN对集群资源进行调度MR专注于运算任务

HDFS

简介:分布式文件系统,由多台机器组成
适用场景:一次写入,多次读取

优缺点

优点

1、高容错性:数据自动保存多个副本(可配置),当一个副本丢失(连接异常),会将数据恢复到一个新的副本中
2、适合处理大量数据
3、使用廉价机器:节约成本的同事提高数据的可靠性(不易丢失数据)

缺点

1、不适合低延时数据访问:因为处理需要一定时间,无法满足这种需求
2、不适合小文件存储:
1.因为文件的元数据和其他信息是存储在NameNode上的,这些信息会占据NameNode的内存空间,如果存储的都是小文件,而且还是很多的情况下,这会占据NameNode大量的内存,性价比很低。
2.查询文件是要一定的寻址时间,当寻址时间大于读取文件的时间的时候,违背了HDFS的设计原则,也是一种糟糕的应用
3、不支持并发写
4、只支持数据的append,不支持随机修改

HDFS架构

HDFS基础架构

Client

1、文件切分:上传文件时,已经将文件按照块的大小进行切分(一般默认128M),然后分块进行上传
2、与NameNode进行交互,获取对应的文件信息(路径,在哪台DataNode上等)
3、与DataNode交互,进行读、写操作
4、提供了一些HDFS的管理命令,例如NameNode的格式化(hadoop namenode -format)
5、可以提供了一些命令对HDFS文件的增删改查

NameNode

1、管理HDFS的命名空间
2、配置副本策略
3、管理数据块的映射信息
4、处理Client的读写请求

SecondydaryNameNode

1、辅助NameNode,但是不能作为NameNode的备用机,主要还是分担NameNode的工作,合并Fsimages和Edits(加载数据时比较重要的两种文件,后面会讲到),并同步到NameNode上
2、可以帮助恢复NameNode

HDFS块大小的设计

1.0时的默认大小为64M,2.0默认为128M

为什么这么设计?

块大小的规则:必须是2的N次方(因为需要每64K进行数据检查一次)
最佳传输理论:当寻址时间 / 传输时间 = 1%时,文件查找的效率最高,性价比最高

现在一般的计算机寻址时间是10ms,
1.0时代的磁盘读写能力较弱(50M/S),推算一下:
传输时间:10ms / 1% = 1000ms = 1s
所以传输的时间为1s时是效率最高的,然后结合磁盘的读写速度是50M/S
所以一次读写 1S * 50M/S = 50M 的时候,是效率最高的,
大于50M的最小的2的N次方就是64M了,所以默认使用64M

等到了2.0时代,磁盘的传输速率提高,达到了100M/S,所以我们用 1s * 100M/S = 100M,那离100M最近的2的N次方就是128M,所以2.0的默认块大小为128M

在未来,如果寻址时间和磁盘时间得到了响应的改善,我们依旧可以根据最佳传输理论根据我们集群资源的硬件情况去设置我们的默认块大小

块的设计原则

设置的太小:10M,我想要取一个100M的数据,那我要去找10个块,寻址10次,增加寻址的时间,并且块的映射信息(10份映射信息)都要存储到NameNode中,占用了NameNode的内存
设置的太大:一个块1T,当我只想拿这个块里的100M ~ 200M之间的文件,那我需要将整个T都下载下来,再去查找这1T中的100M ~ 200M,如果我设置了 128M或者256M,我其实只要下载1块或者2块就可以了,那就是最多下载256M数据就能拿到我想要的数据了,,减少网络IO的开销,所以要根据业务场景,如果你的场景每次都要拿去大量的数据,而且磁盘速率很快(固态),那你可以适当的设置的大一点,但是也要考虑网络传输异常中断导致重复上传的代价,结合集群的硬件设施和网络状态综合设置默认的块大小

HDFS读写流程

HDFS写流程

HDFS写流程

  1. 客户端通过Distributed FileSystem 向NameNode请求上传文件ss.avi,NameNode检查文件是否存在(通过元数据),已经在则不可以上传(但是可以使用覆盖上传)
  2. 将是否可以上传的结果告知客户端
  3. 如果可以上传,客户端向NameNode请求询问第一个块要上传到哪几个DataNode上面(具体几个块取决于块的大小和文件的总大小,具体几个DataNode取决于配置的副本数量)
  4. NameNode把可以上传的DataNode列表返回给客户端(dn1,dn2,dn3…)
  5. 客户端通过FSDataOutPutStream向dn1请求建立传输通道,dn1收到请求后,会继续调用dn2,dn2再去调用dn3,
  6. dn1,dn2,dn3逐级应答客户端,表示通信建立完成,可以开始传输数据了
  7. 客户端开始正式传输数据,以packet为单位开始传输,按照顺序,先传给dn1,dn1收到后传给dn2,dn2再传给dn3,首个节点(dn1),每传出一个packet,就会将这个packet放入一个队列,直到确认所有的DataNode的数据落地后,就将对应的packet移出队列,在某个DataNode出现问题的时候,就可以根绝packet进行重试
    8.每个块传输完成,在进行3-7步骤

HDFS读流程

HDFS读数据流程

  1. 客户端通过Distributed FileSystem向NameNode请求下载文件,NameNode通过查询元数据,找到文件块所在的DataNode地址
  2. 挑选一台DataNode(就近原则,然后随机)服务器,请求读取数据。
  3. DataNode开始传输数据给客户端(从磁盘里面读取数据输入流,以Packet为单位来做校验)。
  4. 客户端以Packet为单位接收,先在本地缓存,然后写入目标文件。

NameNode、SecondaryNameNode工作机制

NameNode

在这里插入图片描述

NameNode启动:

1、NameNode首次启动需要进行格式化(hadoop namenode -format),格式化之后,会生成Fsimage和Edits文件,如果不是首次启动的话,会直接加载这两个文件进入内存
2、客户端对元数据进行增删改查
3、NameNode记录操作日志,并持续更新滚动日志
4、NameNode对内存中的数据进行增删改查

Secondary NameNode工作

1、Secondary NameNode询问NameNode是否需要CheckPoint(是否到了检查点),一旦到达定时时间,或者Edits中的数据写满了,就会带回检车结果
2、Secondary NameNode拿到结果后,开始请求执行CheckPoint
3、NameNode滚动正在写的Edits文件(把再次之前的操作打上标记,然后新建一个edits.inprogress的文件,在此之后的操作日志都会记录在edits.inprogress的文件中)
4、将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode
5、Secondary NameNode加载编辑日志和镜像文件到内存,进行合并
6、生成新的镜像文件fsimage.checkpoint
7、将新的镜像文件拷贝到NameNode,并重名名为fsimage,并将edits.inprogress文件重名为edits

通俗讲法:每次启动都会去拿fsimage镜像 + edits操作日志,加载到内存,就是最新的元数据信息,并生成最新的fsimgae和edits滚动,在这之间,NameNode开启安全模式(只读),直到集群中满足【最小副本条件】,30S后退出安全模式,然后client开始可以读写,每到检查点(默认一小时,可配置,或者hdfs操作次数达到100W次时),NameNode生成新的edits.inprogress文件,并滚动seen_txid文件(edits的序号+1),后续的操作日志会写到edits.inprogress文件中,NameNode将fsimage和edits文件通过httpPost传输给Secondary NameNode,Secondary NameNode接收到会将2者合并生成新的fsimage.checkpoint文件,并将这个文件通过httpPost发送给NameNode,Namenode将fsimage.checkpoint重命名为fsimage,替换成为最新的镜像
滚动

edits文件滚动就会生成新的文件名称xxxxx122,并且将seen_txid中的数值+1,每次重启NameNode,会根据seen_txid中的值去加载操作记录xxxxx1~xxxxx[seen_txid中的值]的这些edits的文件

集群安全模式

在这里插入图片描述

DataNode工作机制

在这里插入图片描述

【Hadoop HDFS学习笔记】HDFS基本学习 文章目录HDFS文件系统HDFS设计的目标计算机集群的基本结构建构在上述物理结构之上的逻辑结构HDFS的基本架构HDFS命名空间管理通信协议客户端HDFS体系结构的局限性HDFS 的关键底层结构块(文件处理的基本单元)![在这里插入图片描述](https://img-blog.csdnimg.cn/2019010608455950.png)名称节点文件树状结构组织方式名称结点的关键数据结构(文件状... 阅读详情

相关推荐

Foxglove Studio实战:5步搞定自动驾驶数据可视化(附避坑指南)

本文详细介绍了如何使用Foxglove Studio高效搭建自动驾驶数据可视化工作流。通过五个核心步骤:环境准备、数据导入、面板搭建、交互分析与自动化集成,帮助开发者快速掌握这一专为机器人系统设计的开源平台。文章重点解析了其与ROS/ROS 2、MCAP等数据源的无缝对接,以及3D点云、多传感器融合、团队标注等核心功能,并附有实用的性能优化与避坑指南,旨在提升算法调试与团队协作效率。

d3e4f的博客 339

MapReduce中的切片问题

MapReduce中的切片问题 先看一张图,MapReduce的数据流 输入的数据在分配给MapTask之前会被切片,数据切片是在逻辑上对数据进行分片。物理上并没有发生变化。有多少切片就有多少MapTask。 hadoop的HDFS把数据在物理上分块(block)存储,那么分块和切片之间是什么关系呢? 数据块:Block是HDFS物理上把数据分成一块一块。 数据切片:数据切片只是在逻辑上对输入进行分片,并不会在磁盘上将其切分成片进行存储。 1、TextInputFormat切片机制 系统默认的切片机制,切

qq_46828975的博客 666

CREO5.0二次开发+VS2019配置详解

CREO5.0+VS2019配置更新 一、CREO5.0 配置 二、Visual Studio 2019配置 新建MFC DLL项目 文件>新建>项目,选择MFC DLL,如下图所示 项目名称CREO1 2、配置设置 打开项目属性: 配置资源管理器设置: 设置包含目录、库目录(根据自己CREO的安装位置来设置): 包含目录: 库目录: 预处理器设置: 把下面文字复...

liuyi2517的博客 1万+

HDFS工作流程与机制和MapReduce

NameNode:Hadoop分布式文件系统的核心,架构中的主角色NameNode维护和管理文件系统元数据,包括名称空间目录数结构、文件和块的位置信息、访问权限的信息NameNode成为了访问HDFS的唯一入口NameNode内部通过内存和磁盘文件两种方式管理元素据。

qq_61943943的博客 295

Intel SGX Explained

计算机中最主要的资源是CPU和内存,由操作系统和虚拟管理系统等系统软件来管理这些资源。

hanqdi_的博客 3457

基于Jeecgboot3.8.1的vue3版本前后端分离的flowable流程管理平台

基于Jeecgboot3.8.1的vue3版本前后端分离的flowable流程管理平台

宁波阿成的博客 1544

hdfs报错Command ‘hdfs‘ not found, did you mean

错误信息 在刚装完Hadoop后,想尝试一下hdfs命令,结果出现以下报错: Command 'hdfs' not found, did you mean: 解决方法 原因是没有在bin目录下设置PATH,因此相关hadoop或者hdfs的命令都无法正常使用。 以下给出一种解决方法: sudo vi /etc/profile 然后在最下面加入一行配置PATH: export PATH=/usr/local/hadoop/bin:$PATH 然后使配置立即生效,就可以了: source /etc/

码农阿益的博客 4万+

OGRE 3D----2. QGRE + QQuickView

将 OGRE(面向对象图形渲染引擎)集成到使用 QQuickView 的 Qt Quick 应用程序中,可以在现代灵活的 UI 框架中提供强大的 3D 渲染功能。本文将指导您如何在 QQuickView 环境中设置 OGRE。

charce_you的专栏 915

-bash: hdfs: command not found

今天在搭建HA环境时,已经完成99%了,一路顺利,But就在格式化HDFS的时候,却给我突然出来这个问题?????顿时满脸黑线,总共七台服务器,不会要全部改一遍吧,于是机智的我打开了百度......第一检查一下/etc/profile中的路径是否配置正确($符不能忘,:是冒号,不是分号)第二检查配置完成的/etc/profile有没有生效(有点低级,但我想说我就是找了半天才发现是没有生效造成的)二...

qiangzi_lg的博客 2万+

【笔记篇】Davinci Configurator OS模块(上)

主要讲解了AUTOSAR OS配置项和Vector MICROSAR OS的特性

weixin_47571898的博客 2274

智能体异常行为检测-基于行为序列的异常模式识别技术【附代码】

在多智能体系统(Multi-Agent Systems, MAS)中,智能体之间的行为协调与自主决策是系统稳定运行的关键。然而,当某个智能体因策略偏移、环境变化或潜在攻击而出现**异常行为(Abnormal Behavior)**时,整个系统可能陷入混乱或崩溃。

一键难忘的博客 1147

hdfs: command not found

b'd的博客 5444

【突变检验合集】含Pettitt突变检验等

突变检验方法合集

WW、forever的博客 3535

Hadoop学习笔记之HDFS架构

1 Master(NameNode/NN)  带 N个Slaves(DataNode/DN)HDFS/YARN/HBase1个文件会被拆分成多个Blockblocksize:128M130M ==> 2个Block: 128M 和 2MNN:1)负责客户端请求的响应2)负责元数据(文件的名称、副本系数、Block存放的DN)的管理DN:1)存储用户的文件对应的数据块(Block)2)要定期向...

Archer9511的博客 491

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Hadoop HDFS——Hadoop实战初级部分学习笔记

5、Hadoop HDFS HDFS 分布式文件系统,高容错性,部署到成本低的硬件;   HDFS架构设计 典型的观察者结构,NameNode(1)-----(*)DataNode, NameNode存储元数据,DataNode存小数据,   HDFS设计目标 假设节点失效是常态,任何一个节点挂了,不影响使用(自动的备份,副本); 简单一致的模型,假设一次写

hdngbj的专栏 1990

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

Hadoop最完整最全的学习笔记(HDFS)

一:Hadoop上block的大小的规定 在说hadoop上block规定的时候要提前说一下,就是在hadoop中,文件在物理上是分块储存(也就是block),块的大小可以通过配置参数(dfs.blocksize)来贵定,默认大小在hadoop2.x中是128M,老版本中是64M 那么我们为什么要定义block的大小呢,在运算的过程中,寻址时间为传输时间的1%的时候为最佳状态,也就是说我们要使机器...

qq_43494997的博客 420

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Hadoop学习笔记(九)——HDFS Java API

Hadoop——HDFS Java API

AidenBrett7的博客 445

Hadoop学习笔记(三)漫画解读HDFS读写原理

具体见下面链接:Hadoop学习笔记(三)漫画解读HDFS读写原理

张锡凯的学习笔记 255

HADOOP学习笔记——HDFS

HADOOP学习笔记——HDFS什么是hdfshdfs的优点hdfs的缺点hdfs的组成框架hdfs的特性hdfs的读流程hdfs的写流程网络拓扑-节点距离机架感知(副本节点的选择) 什么是hdfs 首先我们要知道hdfs是分布式文件系统,它是分布式的由多个服务器共同联合起来实现的,适合存储海量数据,适合一次写入、多次读取的场景。 hdfs的优点 高容错性:副本机制使它可以提高容错率,多个副本的存在可以避免数据的丢失。 处理大数据:多个服务器组成使它可以存储大量的数据,处理大量文件。 对于搭建的集群的服

csncd的博客 2027

Hadoop之HDFS 学习笔记

A 学习内容 详细教程:Hadoop之HDFS:Hadoop分布式文件系统–具体知识点 A1:概况 前面稍微简单点,主要是环境扫盲,讲了开发环境,以及运行安装环境。 A2:学习目标 理解分布式文件系统 理解hdfs架构 熟练hdfs基本命令使用 掌握hdfs编程 理解namenode及secondarynamenode交互 A3:具体知识点 B 学习笔记 完整系统笔记:????HDFS:Hadoop分布式文件系统.md 1. hadoop的发展历史 nutch:全网爬虫项目 主要是想要抓取全网的网

学无止境,勤则可达;志存高远,恒亦能成! 841

Hadoop 学习笔记·五 —— Hadoop 之 HDFS

华为云ID:hw68610019 第四章笔记 HDFS HDFS 概述 随着数据量越来越大,在一个操作系统中存不下所有的数据,那么就需要分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此需要一种系统来管理多台机器上的文件,这就是 分布式文件管理系统,HDFS 只是分布式文件管理系统中的一种。 HDFS 概述 HDFS(Hadoop Distributed File System),是一个文件系统,用来存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器

un357951的博客 582

Hadoop 学习笔记之HDFS

hdfs : NameNode + DataNode + Secondary NameNode

weixin_55750952的博客 920

Hadoop学习笔记—HDFS

[TOC] 上一份工作主要负责大数据平台的建设,在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记,由于时间关系,不打算去修改其中的错别字和排版问题,直接释出原始笔记。 搭建安装 三个核心组件 一个hadoop基本集群,牵涉三个组件: hdfs 负责分布式的文件存储 yarn 负责分布式的资源管理 mr 负责分布式计算安装 配置环境变量 配置etc/hadoop/hadoop-env.sh、etc/hadoop/hadoop-env.sh、etc/hadoop/yarn-env.sh 这三个脚

weixin_38166318的博客 542

Hadoop HDFS _学习笔记

HDFS:是一个综合的文件系统抽象,提供了文件系统的各种借口。 HDFS整合了各种众多的文件系统,提供了一个抽象的文件系统 ————org.apache.hadoop.fs.FileSystem org.apache.hadoop.fs.FileSystem的实现 -org.apache.hadoop.fs.LocalFileSystem Implimen for local filesystem...

phacpf123 258
上一篇: Spring Boot 多数据源配置之 MyBatis多数据源配置
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值