Hadoop学习之Datanode多目录配置

最新推荐文章于 2024-08-17 22:31:50 发布
原创 最新推荐文章于 2024-08-17 22:31:50 发布 · 947 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs

博客介绍了Datanode多目录配置，指出datanode可配置多个目录，且各目录存储的数据不同，并非副本。还给出了具体配置，如在hdfs - site.xml中配置data1和data2等内容。

Datanode多目录配置

1）datanode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本。

2）具体配置如下：

hdfs-site.xml

<property>

        <name>dfs.datanode.data.dir</name>

      <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>

</property>

data1 

 

data2 （由此可以看到data1中有内容，data2中没内容）

静默安然
关注
hadoop关于dfs.datanode.data.dir下多个目录不均衡问题
milyhj123的博客
09-15 9472
hadoop的dfs.datanode.data.dir是设置datanode节点存储数据块文件的本地路径，通常可以设置多个，用逗号隔开： &lt;property&gt; &lt;name&gt;dfs.datanode.data.dir&lt;/name&gt; &lt;value&gt;/var/local/dfs-data,/usr/local/hadoop/dfs-data&lt;/v...
Hadoop学习笔记-DataNode
weixin_43394724的博客
07-07 563
DataNode数据存在的形式 [root@h102 subdir0]# pwd /opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1568640629-192.168.110.82-1622624666933/current/finalized/subdir0/subdir0 [root@h102 subdir0]# ll total 48 -rw-rw-r--. 1 zyi zyi 1248 Jun 2 22:28 blk_1073741825 -rw
hadoop 。HDFS存储多个目录
leileihhxx的博客
02-23 1220
防止磁盘利用不均，DataNode保存数据在hdfs-site.xml的dfs.datanode.data.dir决定，默认为file://${hadoop.tmp.dir}/dfs/data。增加多个磁盘例如 <name>dfs.datanode.data.dir</name> <value>file:///dfs/data1,file:///hd2/dfs/data2</value> 每台服务器的磁盘情况不同，这个参数不能在集群上用同配置
hadoop 优化之hdfs多目录
qq_43224174的博客
12-17 1259
本篇文章主要是对hadoop的hdfs进行调优，包括NameNode的多目录配置优化，DataNode的多目录配置优化，集群磁盘之间的数据均衡优化，后续还会更新 。不足之处，欢迎斧正！
Datanode多目录配置
youif的博客
08-17 5044
参考尚硅谷hadoop 教程 链接：http://i8n.cn/U4sxdj DataNode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本 2．具体配置如下 hdfs-site.xml <property> <name>dfs.datanode.data.dir</name> <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/df.
DateNode多目录配置
weixin_44216665的博客
08-18 1065
DateNode多目录配置配置步骤
Hadoop之DataNode启动源码解析
最新发布
qq_45115959的博客
08-17 742
DataNode类是 Hadoop 分布式文件系统 (HDFS) 中的一个核心组件，它负责存储文件系统的数据块。每个部署可以包含一个或多个DataNode实例。DataNode与NameNode通信以报告其存储状态，并响应来自NameNode的指令，如删除或复制块等操作。此外，DataNode还需要与客户端代码和其他DataNode进行交互。
大数据之Hadoop（DataNode）
xiekengli8279的博客
01-08 601
6.1 DataNode工作机制 （1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 （2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。 （3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。 （4）集群
Hadoop节点动态新增和退役&Datanode多目录
Mr.Zheng的博客
03-15 495
前言 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 动态新增节点 环境准备 （1）在hadoop104主机上再克隆一台hadoop105主机 （2）修改IP地址和主机名称 （3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-2.7.2/data和log） （4）source一下配置文件 ...
HDFS中NameNode以及DataNode的多目录配置
a1786742005的博客
02-04 1995
1、多目录配置目的 多目录配置是为了增加集群的安全性，可以将第一个磁盘挂载到第一个目录上，第二个磁盘挂载到第二个目录上。这样当其中一块磁盘出现故障时，储存的数据也不会丢失。 2、NameNode多目录配置 在 hdfs-site.xml 文件中增加如下内容： <property> <name>dfs.namenode.name.dir</name> &...
黑猴子的家：Hadoop DataNode 多目录配置
黑猴子的博客
09-25 831
datanode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本。 具体配置如下 hdfs-site.xml &lt;property&gt; &lt;name&gt;dfs.datanode.data.dir&lt;/name&gt; &lt;value&gt;file:///${hadoop.tmp.dir}/dfs/data1,file:///${ha...
19 - HDFS—多目录、集群扩容以及缩容
花&败
07-23 696
1）NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性（1）在hdfs-site.xml文件中添加如下内容注意：因为每台服务器节点的磁盘情况不同，所以这个配置配完之后，可以选择不分发（2）停止集群，删除三台节点的data和logs中所有数据（3）格式化集群并启动总用量 12drwx------. 3 atguigu atguigu 4096 12月 11 08:03 data。
生产调优HDFS—多目录
weixin_44966780的博客
12-06 539
生产调优HDFS—多目录 NameNode 多目录配置 1）NameNode 的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性 2）具体配置如下 （1）在 hdfs-site.xml 文件中添加如下内容 <property> <name>dfs.namenode.name.dir</name> <value>file://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.dir}/dfs/name
DataNode的多硬盘存储
weixin_43535285的博客
11-11 396
修改hadoop安装目录下/etc/hadoop/hdfs-site.xml文件，添加如下配置信息： <!-- 定义DataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割 --> <property> <name>dfs.datanode.data.dir</name> <value> ...
Hadoop调优手册(3)——HDFS多目录
MartinGQ的博客
08-11 375
NameNode DataNode
NameNode和DataNode的多目录配置
sghuu的博客
09-27 842
NameNode多目录配置 NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性 具体配置如下 （1）在hdfs-site.xml文件中增加如下内容 <property> <name>dfs.namenode.name.dir</name> <value>file:///${hadoop.tmp.dir}/dfs...
Hadoop中NN的多目录设置
shkstart的博客
10-28 402
--NN的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性，name1和name2可以挂载到不同磁盘（linux支持），这样就可以保证元数据的可靠性，多目录挂载单个磁盘，没有意义，磁盘坏掉，目录也就坏掉了 --生产环境中，要提前就考虑好每个NN目录要挂载的磁盘，保证一个磁盘坏掉，其它仍然可进行读写操作 具体操作： 1、配置hdfs-site.xml文件 <property> <name>dfs.namenode.name.dir</name> <..
大数据开发技术之DataNode工作机制与多目录配置
m0_58371965的博客
08-26 585
1.DataNode工作机制 1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。 3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。 4）集群运
Hadoop3：NameNode和DataNode多目录配置（扩充磁盘的技术支持）
Brave_heart4pzj的博客
07-03 1204
Hadoop
Hadoop源码解析：DataNode的目录结构与类继承
DataNode的目录结构由配置属性${dfs.data.dir}定义，可以设置为一个或多个路径，用逗号分隔。这些目录用于存储数据块以及相关元数据。如果未指定${dfs.data.dir}，默认会在一个名为tmp的临时目录下创建数据块。当...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值