Hadoop学习之Datanode多目录配置

最新推荐文章于 2024-02-08 15:00:00 发布
原创 最新推荐文章于 2024-02-08 15:00:00 发布 · 919 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs

博客介绍了Datanode多目录配置，指出datanode可配置多个目录，且各目录存储的数据不同，并非副本。还给出了具体配置，如在hdfs - site.xml中配置data1和data2等内容。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Datanode多目录配置

1）datanode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本。

2）具体配置如下：

hdfs-site.xml

<property>

        <name>dfs.datanode.data.dir</name>

      <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>

</property>

data1 

 

data2 （由此可以看到data1中有内容，data2中没内容）

静默安然
关注
Hadoop之DataNode启动源码解析
qq_45115959的博客
08-17 690
DataNode类是 Hadoop 分布式文件系统 (HDFS) 中的一个核心组件，它负责存储文件系统的数据块。每个部署可以包含一个或多个DataNode实例。DataNode与NameNode通信以报告其存储状态，并响应来自NameNode的指令，如删除或复制块等操作。此外，DataNode还需要与客户端代码和其他DataNode进行交互。
Hadoop集群启动没有Datanode
NullNullAgo的博客
01-12 9921
本人搭建的伪分布式集群，Hadoop集群启动没有Datanode,一开始以为是配置问题，检查了发现没什么问题，后来发现是Datanode与Namenode之间的ClusterID不一致导致的。 可能造成的原因：频繁的格式化namenode 环境：VMWARE+Centos7+Hadoop3.1.1 解决：进入到你hadoop安装目录里面的/data/dfs文件夹中 cd /opt/module/hadoop-3.1.1/data/dfs/ 这个有三个文件夹，分别是namenode，datanod
hadoop 。HDFS存储多个目录
leileihhxx的博客
02-23 1161
防止磁盘利用不均，DataNode保存数据在hdfs-site.xml的dfs.datanode.data.dir决定，默认为file://${hadoop.tmp.dir}/dfs/data。增加多个磁盘例如 <name>dfs.datanode.data.dir</name> <value>file:///dfs/data1,file:///hd2/dfs/data2</value> 每台服务器的磁盘情况不同，这个参数不能在集群上用同配置
hadoop 优化之hdfs多目录
qq_43224174的博客
12-17 1233
本篇文章主要是对hadoop的hdfs进行调优，包括NameNode的多目录配置优化，DataNode的多目录配置优化，集群磁盘之间的数据均衡优化，后续还会更新 。不足之处，欢迎斧正！
Datanode多目录配置
youif的博客
08-17 4999
参考尚硅谷hadoop 教程 链接：http://i8n.cn/U4sxdj DataNode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本 2．具体配置如下 hdfs-site.xml <property> <name>dfs.datanode.data.dir</name> <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/df.
DateNode多目录配置
weixin_44216665的博客
08-18 1037
DateNode多目录配置配置步骤
黑猴子的家：Hadoop DataNode 多目录配置
黑猴子的博客
09-25 816
datanode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本。 具体配置如下 hdfs-site.xml &lt;property&gt; &lt;name&gt;dfs.datanode.data.dir&lt;/name&gt; &lt;value&gt;file:///${hadoop.tmp.dir}/dfs/data1,file:///${ha...
Hadoop学习笔记-DataNode
weixin_43394724的博客
07-07 537
DataNode数据存在的形式 [root@h102 subdir0]# pwd /opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1568640629-192.168.110.82-1622624666933/current/finalized/subdir0/subdir0 [root@h102 subdir0]# ll total 48 -rw-rw-r--. 1 zyi zyi 1248 Jun 2 22:28 blk_1073741825 -rw
启动Hadoop，没有DataNode节点
qq_45736175的博客
06-28 6584
1.其他节点，如namenode都成功启动了，就是DataNode没有启动 原因是NameNode和DataNode的ID不一致导致的，因为我有一个坏习惯，就是每次关闭虚拟机时，都没有使用./sbin/stop-all.sh关闭Hadoop，而是直接关闭虚拟机了。 2.解决方法，找到name/current/目录下的VERSION文件，复制其clusterID 然后粘贴到data/current/VERSION文件中的clusterID 另一种知道NameNode的cluster..
大数据之Hadoop（DataNode）
xiekengli8279的博客
01-08 565
6.1 DataNode工作机制 （1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 （2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。 （3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。 （4）集群
19 - HDFS—多目录、集群扩容以及缩容
花&败
07-23 652
1）NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性（1）在hdfs-site.xml文件中添加如下内容注意：因为每台服务器节点的磁盘情况不同，所以这个配置配完之后，可以选择不分发（2）停止集群，删除三台节点的data和logs中所有数据（3）格式化集群并启动总用量 12drwx------. 3 atguigu atguigu 4096 12月 11 08:03 data。
生产调优HDFS—多目录
weixin_44966780的博客
12-06 501
生产调优HDFS—多目录 NameNode 多目录配置 1）NameNode 的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性 2）具体配置如下 （1）在 hdfs-site.xml 文件中添加如下内容 <property> <name>dfs.namenode.name.dir</name> <value>file://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.dir}/dfs/name
DataNode的多硬盘存储
weixin_43535285的博客
11-11 383
修改hadoop安装目录下/etc/hadoop/hdfs-site.xml文件，添加如下配置信息： <!-- 定义DataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割 --> <property> <name>dfs.datanode.data.dir</name> <value> ...
Hadoop调优手册(3)——HDFS多目录
MartinGQ的博客
08-11 336
NameNode DataNode
NameNode和DataNode的多目录配置
sghuu的博客
09-27 827
NameNode多目录配置 NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性 具体配置如下 （1）在hdfs-site.xml文件中增加如下内容 <property> <name>dfs.namenode.name.dir</name> <value>file:///${hadoop.tmp.dir}/dfs...
Hadoop中NN的多目录设置
shkstart的博客
10-28 380
--NN的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性，name1和name2可以挂载到不同磁盘（linux支持），这样就可以保证元数据的可靠性，多目录挂载单个磁盘，没有意义，磁盘坏掉，目录也就坏掉了 --生产环境中，要提前就考虑好每个NN目录要挂载的磁盘，保证一个磁盘坏掉，其它仍然可进行读写操作 具体操作： 1、配置hdfs-site.xml文件 <property> <name>dfs.namenode.name.dir</name> <..
大数据开发技术之DataNode工作机制与多目录配置
m0_58371965的博客
08-26 563
1.DataNode工作机制 1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。 3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。 4）集群运
Hadoop集群datanode磁盘不均衡的解决方案
weixin_34203832的博客
09-22 840
2019独角兽企业重金招聘Python工程师标准>>> ...
CDH6.2调优总结
最新发布
AwaysLine
02-08 1341
集群搭建完成后，性能调优是必不可少的，调优分为 硬件调优、组件调优、任务调优，本文档将这三部分调优的内容进行穿插讲解，是最全面的大数据调优文档，用了的都说爽，非常 nice ！！！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值