【HDFS】 加快DN启动速度，把磁盘下finalized、rbw目录下副本添加到ReplicaMap里这个操作所需线程池并行度调大

已于 2024-04-19 16:29:43 修改
阅读量152 收藏
点赞数
分类专栏： HDFS全方位实战 文章标签： hdfs hadoop 大数据
于 2024-04-19 14:57:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yexiguafu/article/details/137673966
版权
该博客探讨了如何通过调整HDFS DataNode的参数来加快启动速度，特别是针对finalized和rbw目录下副本添加到ReplicaMap的操作。作者分析了FsVolumeList#getAllVolumesMap方法，并提出增加ForkJoinPool线程池的配置（dfs.datanode.volumes.replica-add.threadpool.size）以提高并发度，从而减少启动时间。测试结果显示性能提升明显，但也提醒需注意可能带来的资源占用问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

重启DataNode时，发现有如下的日志：

2024-03-19 15:35:58,618 INFO org.apache.hadoop.hdfs
了解本专栏 订阅专栏 解锁全文
【HDFS】FsDatasetImpl系列文章（七）：finalizeBlock方法和unfinalizeBlock方法
LifeIsGood
02-24 433
【HDFS】FsDatasetImpl系列文章（七）：finalizeBlock方法和unfinalizeBlock方法
hadoop学习总结（一）
m0_37746551的博客
02-20 3239
如何安装配置apache的一个开源hadoop集群 使用root账户登录 修改IP 修改host主机名 配置SSH免密码登录 关闭防火墙 安装JDK并配置jdk环境变量 解压hadoop安装包 配置hadoop的核心文件 hadoop-env.sh，core-site.xml , mapred-site.xml ， hdfs-site.xml ，yarn-site....
HDFS
随心的专栏
10-06 1928
原文地址：https://www.cnblogs.com/wxplmm/p/7239342.html http://www.cnblogs.com/mindwind/p/4833098.html 文章目录1. 概览2.HDFS基本结构2.1 NameNode2.1.1 简介2.1.1 NameNode启动过程（待完善）2.2 DataNode2.2.1 简介2.2.2 DataNode启动过程（待...
【HDFS基础】HDFS文件目录详解
热门推荐
白夜行
07-28 3万+
HDFS的文件目录图分析：从上图可以看出，HDFS的文件目录主要由NameNode、SecondaryNameNode和DataNode组成，而NameNode和DataNode之间由心跳机制通信。注： HDFS(Hadoop Distributed File System)默认的存储单位是128M的数据块。 可以执行命令vim /home/qingaolei/hadoop/hadoop-2.8.
HDFS学习笔记【Datanode/文件系统数据集】
油纸雨伞的博客
03-27 390
DN文件系统集,FSVolumeList FsVolumeImpl BlockPoolSplice
大数据Hadoop运行模式和常见错误
赵广陆
03-25 1353
目录1 Hadoop 运行模式2 本地运行模式3 完全分布式运行模式（开发重点）3.1 编写集群分发脚本 xsync3.1.1 scp（secure copy）安全拷贝3.1.2 rsync 远程同步工具3.1.3 xsync 集群分发`脚本`4 集群配置4.1 配置历史服务器4.2 配置日志的聚集4.3 集群启动/停止方式总结4.4 常用端口号说明4.5 集群时间同步5 常见错误及解决方案 1 Hadoop 运行模式 1）Hadoop 官方网站：http://hadoop.apache.org/ 2）H
Hadoop学习与使用
lyd882的博客
06-12 1302
Hadoop基础 1. 大数据解决方案 Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。 “90％的世界数据在过去的几年中产生”。 由于新技术，设备和类似的社交网站通信装置的出现，人类产生的数据量每年都在迅速增长。美国从一开始的时候到2003年产生的数据量为5十亿千兆字节。如果以堆放的数据磁盘的形式，它可以填补整个足球场。在2011年创建相同数据量只需要两天，在2013年该速
大数据之Hadoop2
qq_43502858的博客
06-05 268
大数据之Hadoop2.0入门 1.大数据概念介绍 大数据特性与应用 特性：多，快，繁； 大数据起源于社交网络，发展于电商平台， 大数据的特征：快速的数据流转（Velocity），多样的数据类型（Variety），海量的数据规模（Volume），发现数据价值（Value）。 Volume：数据量大 TB，PB Variety：数据多种多样， Veracity：真实性，数据的准确性...
HDFS元数据管理
weixin_42404341的博客
11-06 1107
1.元数据管理概述 > HDFS分类-类型分包括以下几部分 文件、目录自身的属性信息，例如文件名，目录名，修改信息等 文件记录的信息的存储相关的信息，例如存储块信息，分块情况，副本个数等 记录 HDFS 的 Datanode 的信息，用于 DataNode 的管理。 > 按形式分 内存元数据   内存 元数据文件两种  磁盘 > HDFS 磁盘上元数据文件分为两类...
hdfs-datanode
February13的博客
04-19 544
故每次启动的时候，datanode都有扫描一遍节点，将存储的文件信息（当前节点上所有block块信息）传送给namenode（这个关系每次重启都会动态加载）1 block 与文件的信息（fsimage，edits）namenode启动时会将元数据信息（每个文件占用150字节）加载到内存。2 block块与 datanode对应的关系 datanode启动时会上报当前节点 与block之间映射关系 给namenode。节点上存储的文件信息（block块存放在哪个节点）只有datanode自己知道，
Hadoop3.2.1 【 HDFS 】源码分析 : 文件系统数据集 [一]
张伯毅的专栏
11-10 4344
一. 前言 Datanode可以配置多个存储目录保存数据块文件（这里要注意， Datanode的多个存储目录存储的数据块并不相同， 并且不同的存储目录可以是异构的， 这样的设计可以提高数据块IO的吞吐率） ， 所以Datanode将底层数据块的管理抽象为多个层次， 并定义不同的类 来实现各个层次上数据块的管理。 ■ BlockPoolSlice： 管理一个指定块池在一个指定存储目录下的所有数据块。 由于Datanode可以定义多个存储目录， 所以块池的数据块会分布在多个存储目录下。一个块池会拥有多个Blo
HDFS 分布式文件系统详解
ytp552200ytp的博客
08-24 3810
1. HDFS概述 Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统)以及LocalFileSystem(本地文件系统)了。 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。 HDFS（Hadoop Distribu.
Hadoop系列（一）——HDFS总结
weixin_46307478的博客
07-13 2966
HDFS
HDFS用了这个优化后，性能直接翻倍
hncscwc的博客
01-15 2392
【背景】前段时间在HDFS的dn节点规模1000+的环境中，并且有1亿block数据量的情况下， 进行大量并发写文件测试时，发现部分客户端写异常并导致最终仅写入了部分数据，本文就该问题进行...
八年资深架构师解析HDFS之DataNode：启动过程二（含源码）
linjingyg的博客
01-27 545
　　在datanode启动的主流程中，启动了多种工作线程，包括InfoServer、JVMPauseMonitor、BPServiceActor等。其中，最重要的是BPServiceActor线程，真正代表datanode与namenode通信的正是BPServiceActor线程。 　　BPServiceActor#run()： 　　 　　此处说的“通信”包括与握手、注册（BPServiceActor#connectToNNAndHandshake）和后期循环提供服务（BPServiceActo
HDFS内副本和块的状态分析
走在前往架构师的路上
12-14 7369
前言在HDFS内，我们通常听到的最频繁的2个名词术语：副本(Replica)和块(Block).几乎可以这么说，HDFS所有涉及到文件的操作都与这两个词相关。但是大家可能对这2个概念的理解还仅仅停留在一个比较浅的层面：比如说就是一个单一的replica或是一个单一的block块。尤其是在对块的层面，一个block块在最终完成后，它会经历哪些状态过程呢？这些细节的内容就是本文所准备阐述的。副本/块的状
HDFS的读写流程步骤（附图文解析）
奇迹虎虎的博客
03-04 3万+
HDFS的写入流程与读取流程，附图文步骤解析
HDFS文件目录结构详解
m0_37613244的博客
11-22 6541
Namenode中主要存储fsimage和editlog文件，Datanode中主要存储数据块blk文件。下面分别介绍Namenode和Datanode中的文件存储结构。 文章目录1 Namenode1.1 文件所在位置 1 Namenode 1.1 文件所在位置 文件所在位置由hdfs-site.xml中的配置项dfs.namenode.name.dir配置。这些文件都存于${dfs.namenode.name.dir}/current文件夹下，在dfs.namenode.name.dir配置项中可以配置
HDFS入门教程
anglemanyi的博客
09-24 800
主要负责定期把edits文件中的内容合并到fsimage中，这个合并操作被称为checkpoint，在合并的时候会对edits中的内容进行转换，生成新的内存保存到fsimage中注意：在NameNode的HA架构中没有SecondaryNameNode进程，文件合并操作会由standby NameNode负责实现。
shell脚本批量获取hdfs当前目录下所有文件的磁盘大小
最新发布
07-07
要批量获取HDFS当前目录下所有文件的磁盘大小，你可以使用Hadoop的`hdfs dfs -du`命令。下面是一个示例的shell脚本： ```shell #!/bin/bash # 获取HDFS当前目录下所有文件的磁盘使用情况 hdfs dfs -du -h -s */* ``` 这个脚本会使用`hdfs dfs -du`命令来获取HDFS当前目录下所有文件的磁盘使用情况。其中，`-h`选项表示以人类可读的方式显示大小，`-s`选项表示只显示总和。 你可以将以上代码保存为一个名为`disk_usage_hdfs.sh`的文件，然后在终端中执行该脚本，即可获得HDFS当前目录下所有文件的磁盘大小信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据技术部落

觉得有收获就支持一下吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值