大数据HDFS存储过程

最新推荐文章于 2023-10-10 16:18:29 发布
置顶 最新推荐文章于 2023-10-10 16:18:29 发布
阅读量2k 收藏 3
点赞数
CC 4.0 BY-SA版权
文章标签： HADOOP BIG DATA HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/thomasongq/article/details/83067916

随着大数据时代的到来,第三次信息化浪潮已经开幕了(15年一次),在第四次信息化浪潮的到来之前,各种新兴企业的兴起也愈发迅速,大数据HADOOP体系的技术也愈发成熟

HDFS存储过程

       有客户端发送提交请求,首先与namenode进行交互,然后namenode与datanode实时发送心跳(即ping),然后将文件切分成block进行上传,但是其实HDFS默认有三个机架,这里就先不讲机架感知策略,只要知道机架感知是存放副本的就行.上传block时,是将以比block的单元进行传输的(即chunk---最小的存储单元),当block上传到第一个datanode时,它就会默认复制三份(dfs.replication设置),以chunk传输完一个存储单元,后立即往下一个副本传递.利用了时间重叠技术;然后datanode以一张map映射表告知namenode的block存储情况.

     副本存放策略:

       默认有两种算法,一是namenode查询datanode(CPU,内存等信息),然后找一个资源充足的datanode节点存放副本.

 

thomasongq
关注
HDFS的存储结构以及操作流程简单总结
云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告
01-02 5290
一、NameNode数据结构 1、物理结构 ${dfs.name.dir}/current/{VERSION,edits,fsimage,fstime} dfs.name.dir是一个目录列表，存储每个目录的镜像。VERSION文件是Java属性文件,包含运行HDFS的版本信息。 edits，是编辑日志文件。当客户断执行写操作的时，NameNode首先会在编辑日志中写下记录，并在内存中保存
大数据 HDFS-存储的王者
善守者
01-03 1281
DataNode会通过心跳和NameNode保持通信，如果DataNode超时未发送心跳，NameNode就会认为这个DataNode已经宕机失效，立即查找这个DataNode上存储的数据块有哪些，以及这些数据块还存储在哪些服务器上，随后通知这些服务器再复制一份数据块到其他服务器上，保证HDFS存储的数据块备份数符合用户设置的数目，即使再出现服务器宕机，也不会丢失数据。HDFS为了保证数据的高可用，会将一个数据块复制为多份（缺省情况为3份），并将多份相同的数据块存储在不同的服务器上，甚至不同的机架上。
HDFS的存储过程
Vikn_的博客
12-01 1280
随着大数据时代的到来,第三次信息化浪潮已经开幕了(15年一次),在第四次信息化浪潮的到来之前,各种新兴企业的兴起也愈发迅速,大数据HADOOP体系的技术也愈发成熟 HDFS存储过程 有客户端发送提交请求,首先与namenode进行交互,然后namenode与datanode实时发送心跳(即ping),然后将文件切分成block进行上传,但是其实HDFS默认有三个机架,这里就先不讲机架感知策略,只要知道机架感知是存放副本的就行.上传block时,是将以比block的单元进行传输的(即chunk---最小
6.hdfs的存储过程
weixin_30877181的博客
06-25 245
1.hdfs 怎么存储 切割存储 2. 为何每块是128m 与io读写速度有关，一般人的接受速度1s中，而磁盘的读写速度为100m／s，在读取文件时候需要硬盘寻找地址，一般读懂速度和寻找之间的比例是1/100，比如我们设置寻址时间为10ms，那么整体读的时间为10ms * 100 = 1000ms = 1s， 100m／s * 1／s～=128M 3. 验证存储 4. 怎么分割存储 block...
HDFS存储文件的过程详解
zhangxiaohui4445的博客
05-22 2139
以下内容基本都是自己的语言进行描述的，并不全是官方的说法，若有哪里说的不对可以在下面进行交流。 一 、角色 ： Namenode ，DataNode ，Client 1 NameNode namenode 负责维护整个文件系统的信息，包括：整个文件树，文件的块分布信息，文件系统的元数据，数据复制策略等 以下简称NN 2 DataNode 存储文件内容，负责文件实际的读写操作...
HDFS存储文件的流程：
qq_39212887的博客
10-10 145
2.客户端分割文件，然后向namenode请求上传到哪个datanode，namenode根据配置返回需要上传到的datanode路径。3.客户端向第一个datanode建立传输通道，dn1向dn2建立传输通道，然后依次建立，最后一个dn以此向前响应建立成功。5.第一个文件块传输完成后，客户端继续传送第二个block块，重复上述步骤，直到完成所有block的传输。4.客户端向dn1传输一个block文件块，dn1依次向后传输block快。
大数据 hdfs hadoop hbase jmeter
10-23
Hadoop是一个开源框架，主要用于存储和处理大规模数据，而HDFS（Hadoop Distributed File System）是Hadoop的核心部分，是一个分布式文件系统，为大数据处理提供了可靠且可扩展的存储解决方案。HBase则是在Hadoop之...
大数据HDFS详解
06-14
Hadoop是一个由Apache基金会所开发的分布式系统基础架,是当前最火爆的大数据应用框架,Hadoop的框架最核心的...本课程详细介绍了从部署linux虚拟机环境到实现全分布式启动hdfs进程的全过程,是快速入门大数据的必经之路.
大数据HDFS二次开发.pdf
10-14
《大数据HDFS二次开发》是针对Hadoop分布式文件系统(HDFS)进行深入开发的指南，主要面向需要在海量数据处理场景下对HDFS进行定制化开发的IT专业人员。HDFS是一个高度可靠的分布式文件系统，设计之初即为解决大规模...
揭秘大数据存储基石HDFS-理论篇.pptx_揭秘大数据存储基石HDFS_pptx_
09-29
**大数据存储基石：HDFS（Hadoop Distributed File System）理论篇** HDFS是Apache Hadoop项目的核心组件之一，是为处理大规模数据集而设计的一种分布式文件系统。它以高容错性和高可用性为目标，旨在运行在廉价的...
大数据(二) - HDFS
热门推荐
will的成长之路
01-12 1万+
HDFS优点     高容错性             数据自动保存多个副本             副本丢失后，自动恢复     适合批处理             移动计算而非数据             数据位置暴露给计算框架     适合大数据处理             GB、TB、甚至PB级数据             百万规模以上的文件数量
大数据去重存储过程
lianhualianhua的专栏
04-22 375
分页调用存储过程 DELIMITER $$USE `new_stat`$$DROP PROCEDURE IF EXISTS `callRefUrl`$$CREATE DEFINER=`root`@`219.224.99.0/255.255.255.0` PROCEDURE `callRefUrl`()BEGIN    DECLARE rows_size INT DEFAULT 0;    DE...
HDFS的存储机制（读写流程）
Clittle225的博客
04-23 2028
HDFS存储机制，包括HDFS的写入过程和读取过程两个部分读取过程客户端向namenode请求上传文件，namenode检查目标文件是否已经存在，父目录是否存在。Namenode向客户端返回是否可以上传。客户端请求第一个block块上传到哪些datanode服务器上。Namenode返回三个datanode节点，分别为dn1，dn2，dn3.客户端请求dn1上传数据，dn1收到请求会继续调用dn2,然后dn2调用dn3，将这个通信管道建立完成。dn1、dn2、dn3逐级应答客户端。
大数据之HDFS
大数据同盟会的博客
05-27 867
HDFS
HDFS文件读写流程
1.02^365=1377.41
12-11 784
一、HDFS体系结构HDFS作为分布式文件系统，使用的是master/slave体系结构，角色有三种： NameNode:为HDFS提供元数据服务，NameNode可以控制所有文件的操作，它会把所有的文件元数据存储在文件系统树中，文件信息在硬盘上保存成两个文件：命名空间镜像文件(fsimage)和修改日志文件(edit log)。此外，NameNode还保存一个文件，用来存储数据块在数据节点的分布
大数据---HDFS
jinyusheng_1991的博客
08-20 693
1.HDFS：分布式文件存储系统，是用来进行文件存储的，简单的理解就是大数据领域的硬盘或者磁盘（但是还是有非常大的区别的，这个我们接下来进行解释）。   2.那么它和传统的存储方式有什么区别呢？   首先，传统的方式保存数据就是我们平时用的上传到磁盘普通模式，但是我们站在大数据角度来看，如果我们的文件比较大（比如2T=2000G的文件），那么用这种方式就比较消耗时间，占用大量处理内存，而且...
HDFS存储和读写原理
GUOWENJU_08
03-31 968
1.1 HDFS写流程1.    使用HDFS提供的客户端开发库Client，向远程的Namenode发起RPC请求；Namenode会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会为文件创建一个记录(账本上记录一条)，否则会让客户端抛出异常；2.    当客户端开始写入文件的时候，开发库会将文件切分成多个packets，并在内部以数据队列"data queue"的形式管理这些...
【大数据系列之MySQL】（三十四）：存储过程的介绍
优快云 精品推荐
12-20 419
INOUT：该参数既可以作为输入又可以作为输出，也就是该参数既需要传入值，又可以返回值。存储过程：一组预先编译好的SQL语句的集合，理解成批处理语句，类似于Java中的方法。存储过程的结尾可以使用delimiter重新设置，语法为。如果存储过程体仅仅只有一句话，begin end可以省略。IN：该参数可以作为输入，也就是该参数需要调用方传入值。OUT：该参数可以作为输出，也就是该参数可以作为返回值。存储过程体中的每条SQL语句的结尾要求必须加分号。
大数据存储基石——HDFS
manshiai的博客
07-27 2756
随着数据量越来越大，在一个本地文件系统里边已经存不下所有的数据，需要将数据分配到更多的操作系统和文件管理系统，但是不方便管理和维护，所以需要一个系统来统一管理这些存储了所有数据的机器，这个系统也就是分布式文件管理系统，HDFS只是分布式文件管理系统的一种。!HDFS（全称HadoopDistributeFileSystem，Hadoop分布式文件系统），用于文件存储和管理，通过目录树来定位文件，是分布式的。可以与Linux文件系统做类比，只不过是封装了很多机器的文件管理功能。...
hadoop 大数据 hdfs
最新发布
03-14
### Hadoop 和 HDFS 在大数据处理中的应用 Hadoop 是一种分布式计算框架，旨在解决大规模数据集的存储和分析问题。其核心组件之一是 HDFS (Hadoop Distributed File System)，它是一种专为高吞吐量设计的分布式文件系统[^1]。 #### HDFS 的特点 HDFS 能够存储超大文件并提供强大的扩展能力。它的硬件故障检测和自动快速恢复功能使得数据更加可靠。通常情况下，HDFS 中的数据会被切分成若干块，默认每块大小为 128 MB，并且每个块会有三个副本以增强冗余性和容错性[^3]。 #### HDFS 架构详解 HDFS 使用 Master/Slave 架构来管理集群内的数据存储。具体来说，该体系结构由以下几个关键部件构成： - **NameNode**: 这是整个系统的管理者角色，负责维护元数据以及协调客户端请求。 - **DataNode**: 实际执行数据存储工作的节点，在物理硬盘上保存实际的数据块。 - **Secondary NameNode 或 Standby NameNode**: 辅助主 NameNode 工作的角色，主要用于定期合并编辑日志与镜像文件，防止单点失效风险[^2]。 当用户提交作业给 Hadoop 平台时，HDFS 客户端会先联系 NameNode 获取目标路径下的 block 列表信息，之后再直接同对应的 DataNodes 发起交互完成具体的 IO 操作过程。 #### 应用场景 由于上述特性决定，HDFS 更适用于那些需要频繁读取而较少更新的大批量静态数据分析任务。例如搜索引擎索引建立、社交媒体趋势预测等领域都非常依赖于这样的技术栈来进行高效离线批处理工作流调度。 以下是实现基本 MapReduce 程序的一个 Python 示例代码片段： ```python from hadoop import conf, fs def main(): configuration = conf.Configuration() input_path = "/input" output_path = "/output" # 创建 FileSystem 对象连接远程 HDFS filesystem = fs.FileSystem.get(configuration) try: if not filesystem.exists(input_path): raise Exception(f"{input_path} does not exist.") # 删除已存在的输出目录以防报错 if filesystem.exists(output_path): filesystem.delete(output_path, True) finally: filesystem.close() if __name__ == "__main__": main() ``` 此脚本展示了如何检查输入路径是否存在，并清理可能阻碍新运算启动的旧有结果集合。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值