转载:HDFS-Datanode磁盘选择策略源码分析

最新推荐文章于 2025-01-17 21:51:25 发布
原创 最新推荐文章于 2025-01-17 21:51:25 发布 · 185 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨HDFS中Datanode节点如何通过不同的磁盘选择策略，如基于轮询和基于可用空间的策略，来平衡多块数据盘上的数据分布，避免单块磁盘过载，确保数据高效存储。
Datanode节点会配置多块数据盘，当我们往 HDFS 上写入新的数据块，DataNode 将会使用 volume 选择策略来为数据块选择存储的磁盘目录。选择正确的策略可以避免单块磁盘数据过多.
HDFS在写入时有两种策略:
  • 基于轮询策略(默认), 不考虑文件大小
  • 基于可用空间的策略

lbzz
关注
【精】HDFS-VolumeScanner深度分析
LifeIsGood
06-22 627
【精】HDFS-VolumeScanner深度分析
Hadoop的磁盘写入策略引发的问题
xiao的博客
10-14 2303
DataNode挂载的磁盘或者DataNode节点挂载多个磁盘，如果存在一些磁盘大小不一样，数据在落盘时就可能会出现磁盘使用率不均匀的情况，容量较小的盘容易被写满，而容量大的盘还剩很多空间。磁盘写满后，影响Hadoop集群的正常工作。国庆第一天，线上集群就报出了JournalNode挂掉的异常情况，经查是由于2T的磁盘被写满，JournalNode无法再写入数据。当时采取了临时的措施，删掉HBase
HDFS-Datanode磁盘选择策略分析
breakout_alex的博客
04-09 2204
概述 Hadoop技术体系中，hdfs是重要的技术之一，而真实的数据都存储在datanode节点之上，DataNode 将数据块存储到本地文件系统目录中，而每个datanode节点可以配置多个存储目录（可以是不同类型的数据硬盘），hdfs-site.xml （dfs.datanode.data.dir参数）。 一般的hadoop集群datanode节点会配置多块数据盘，当我们往HDFS上...
hadoop2.0的datanode多目录数据副本存放策略
快乐程序员的专栏
10-11 8898
在hadoop2.0中，datanode数据副本存放磁盘选择策略有两种方式： 第一种是沿用hadoop1.0的磁盘目录轮询方式，实现类：RoundRobinVolumeChoosingPolicy.java 第二种是选择可用空间足够多的磁盘方式存储，实现类：AvailableSpaceVolumeChoosingPolicy.java
Hadoop DataNode的读和写流程 选择datanode方法 机架感知
qq_35282257的博客
09-07 960
重点内容 Hadoop DataNode的读和写流程 选择datanode方法 机架感知 从上一篇文章中我们已经晓得了NameNode和Secondary NameNode的职责，这篇文章我们首要讲讲我们怎样往DataNode上写数据和读数据。 DataNode的写操纵流程 DataNode的写操纵流程可以分为两部分，第一部分是写操纵之前的预备工作，包括与NameNode的通讯等；第二部...
HDFS(2.2.0)选择DataNode机制
陈folin的博客
01-26 2191
HDFS选择数据节点的方式越来越复杂，也越来越考虑到吞吐量，但是同样存在着一些问题。 分配数据节点的所需的参数主要有文件副本数numOfReplicas、writer（客户端所在节点）、excludedNodes（客户端排除的节点）、chosenNodes（已经选择的节点） 方法是BlockPlacementPolicyDefault类的 DatanodeDescriptor[] c
hadoop关于dfs.datanode.data.dir下多个目录不均衡问题
milyhj123的博客
09-15 9471
hadoop的dfs.datanode.data.dir是设置datanode节点存储数据块文件的本地路径，通常可以设置多个，用逗号隔开： <property> <name>dfs.datanode.data.dir</name> <value>/var/local/dfs-data,/usr/local/hadoop/dfs-data</v...
深入HDFS——DataNode启动源码
从知识输入到知识输出
01-17 1295
深入DataNode启动源码
HDFS-源码：保证HDFS的数据持久化和备份策略
HDFS的基本架构包括一个NameNode和多个DataNode，其中NameNode负责管理文件系统的命名空间和访问控制信息，而DataNode负责实际存储数据。 HDFS的基本原理是通过将大文件切分成多个数据块（通常大小为128MB或256MB）...
Hadoop HDFS 数据流源码分析：DataNode 动态行为剖析
Hadoop源码分析HDFS数据流 **HDFS数据流概述** HDFS（Hadoop Distributed File System）是Hadoop系统中的分布式文件系统，负责存储和管理大规模数据。HDFS数据流是指HDFS中数据的写入、读取和传输过程。了解HDFS...
HDFS-源码：应用HDFS的数据合并和数据分割技术
# 1. HDFS概述 ## 1.1 HDFS的基本概念 HDFS（Hadoop Distributed File System）是Apache Hadoop项目中的一个分布式文件系统...HDFS的架构包括一个单一的NameNode和多个DataNode，数据被分割为块并存储在不同的DataNod
HDFS-Namenode和Datanode多目录配置
amingo_ss的博客
05-21 2396
目录1.Namenode多目录配置2.Datanode多目录配置2.1 Datanode配置多目录的必要性2.2 Datanode配置多目录2.2 Datanode多目录数据平衡3.启动namenode和datanode多目录配置集群 1.Namenode多目录配置 Namenode数据（操作日志文件，镜像文件等）存储路径可以配置多个不同路径，这些路径里面存储的数据相同。主要用作数据备份。 在hdfs-site.xml中配置如下信息： <property> <name&gt
hadoop源码 - datanode数据块的读与写
Mrknowledge
05-13 1453
前提 Hadoop版本：hadoop-0.20.2 概述 现在已经知道datanode是通过DataXceiver来处理客户端和其它datanode的请求，在分析DataXceiver时已经对除数据块的读与写之外的操作进行了说明，本文主要分析比较复杂而且非常重要的两个操作：读与写。对于用户而言，HDFS用得最多的两个操作就是写和读文件，而且在大部分情况下，是一次写入，多次读取，满足高吞吐量需
初识HDFS（10分钟了解HDFS、NameNode和DataNode）
akmwqbtto75520502的博客
07-26 1012
概览 首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默认为三个），以此来实现多机器上的多用户分享文件和存储空间。 HDFS特点： ...
DataNode引用计数磁盘选择策略
走在前往架构师的路上
01-17 5270
前言在HDFS中,所有的数据都是存在各个DataNode上的.而这些DataNode上的数据都是存放于节点机器上的各个目录中的,而一般每个目录我们会对应到1个独立的盘,以便我们把机器的存储空间基本用上.这么多的节点,这么多块盘,HDFS在进行写操作时如何进行有效的磁盘选择呢,选择不当必然造成写性能下降,从而影响集群整体的性能.本文来讨论一下目前HDFS中存在的几个磁盘选择策略的特点和不足,然后针对
Windows环境下hadoop安装和配置详细步骤
热门推荐
weixin_43986204的博客
05-14 2万+
Windows环境下hadoop安装和配置详细步骤 一、下载Hadoop http://www.apache.org/dyn/closer.cgi/hadoop/common （我下载的版本是hadoop-2.7.3.tar.gz，这里就以此版本为例） 下载完成后解压，把hadoop-2.7.3放到某个盘的根目录比如 D：\hadoop-2.7.3 （这样方便打开）。 原版的Hadoop不支持Wi...
27页-免改造安全技术实现数据监管合规与有序流通（2023）(1).pdf
最新发布
11-26
27页-免改造安全技术实现数据监管合规与有序流通（2023）(1)
金融监管银保监会监管数据安全管理办法：数据采集存储使用全流程风险防控体系构建
11-26
内容概要：《中国银保监会监管数据安全管理办法（试行）》旨在规范监管数据的安全管理，提升数据保护能力，防范安全风险。办法明确了监管数据的定义、范围及其在采集、存储、处理、使用、委托服务及销毁等全生命周期中的安全管理要求。强调数据应依法合规采集，通过专用网络传输，存储于安全环境，并实施分级分类防护措施。对数据使用限定了用途和设备范围，要求脱敏处理和可追溯管理，并严格管控对外提供和跨境共享。针对委托服务机构设定了准入条件和协议管理机制，明确安全责任。同时建立自查、评估、检查和应急报告机制，确保数据安全事件及时处置和上报。; 适合人群：银保监会及其派出机构工作人员、受托提供监管数据服务的企事业单位、金融机构信息技术与数据管理人员。; 使用场景及目标：①指导监管数据全生命周期的安全管理实践；②规范受托机构的服务准入与安全管理；③建立健全数据安全风险防控与应急响应机制；④支持监管数据在合规前提下的有效利用与共享。; 阅读建议：本办法具有较强的政策性和操作性，建议结合实际工作流程对照执行，重点关注数据分类、权限控制、技术防护和应急管理等方面要求，并定期开展合规自查与培训。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值