配置namenode多目录

最新推荐文章于 2024-07-03 20:49:24 发布
最新推荐文章于 2024-07-03 20:49:24 发布
阅读量390 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhao2chen3/article/details/109755093
该博客主要介绍了Hadoop集群HDFS的配置与文件上传操作。先删除集群数据和日志，接着修改并分发hdfs - site.xml，格式化namenode，然后启动dfs和yarn，最后上传文件，查看name1和name2内容相同，还提及namenode本地目录多配置可增加可靠性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、首先把集群上的数据和日志删除掉 

二、修改hdfs-site.xml 

  

1）namenode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性。

2）具体配置如下：

hdfs-site.xml

<property>

    <name>dfs.namenode.name.dir</name>

<value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2</value>

</property>

三、分发hdfs-site.xml 

 

四、格式化namenode 

五、启动dfs 

六、启动yarn 

七、上传文件

八、查看name1和name2的内容，发现内容是一样的 

上传之前

 

上传之后

 

静默安然
关注
大数据之-Hadoop之HDFS_NameNode多目录配置_把元数据存放多份_放到namenode的多个文件夹下_提高元数据的可靠性_案例---大数据之hadoop工作笔记0076
添柴程序猿的专栏
04-09 384
然后我们再来看一下hadoop的namenode的多目录配置,其实就是 把namenode的元数据,我们在多个目录中都放置一份,这样来提高元数据的可靠性,但是这样的做法,效果有限 因为如果namenode挂了,那么...要这个多份的元数据也没什么用了,不过还是有一定作用的. 至少是多了个备份. 我们做一下, 首先到resourcemanager上面hadoop103上面,去停掉yarn sbin/stop-yarn.sh 注意等这个resourcemanager停止掉...
177.Hadoop（九）：生产调优手册（一）：NameNode内存生产、心跳并发配置，回收站配置，hdfs集群压测配置，多目录配置，扩容缩容，存储优化
鹏哥哥Aaa
09-28 832
NameNode内存生产、心跳并发配置，回收站配置，hdfs集群压测配置，多目录配置，扩容缩容，存储优化
NameNode 多目录配置
jiedaodezhuti的博客
03-16 169
NameNode 的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性。 2.具体配置如下 （1）在 hdfs-site.xml 文件中增加如下内容 <property> <name>dfs.namenode.name.dir</name> <value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.t mp.dir}/dfs/name2</value> </prop.
NameNode的多目录配置
张不帅
11-05 2627
namenode的本地目录可以配置多个,每个目录相同,增加可靠性 在hdfs-site.xml文件中增加 &lt;property&gt; &lt;name&gt;dfs.namenode.name.dir&lt;/name&gt; &lt;value&gt;file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/d...
5.6 NameNode多目录配置
youif的博客
08-16 4284
NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性 具体配置如下 （1）在hdfs-site.xml文件中增加如下内容 <property> <name>dfs.namenode.name.dir</name> <value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2</value> </property.
namenode元数据多目录配置及测试
06-15 1160
namenode元数据多目录配置及测试
HDFS中NameNode以及DataNode的多目录配置
a1786742005的博客
02-04 1978
1、多目录配置目的 多目录配置是为了增加集群的安全性，可以将第一个磁盘挂载到第一个目录上，第二个磁盘挂载到第二个目录上。这样当其中一块磁盘出现故障时，储存的数据也不会丢失。 2、NameNode多目录配置 在 hdfs-site.xml 文件中增加如下内容： <property> <name>dfs.namenode.name.dir</name> &...
HADOOP HA之NameNode HA集群配置与应用
weixin_56114243的博客
12-01 3581
HADOOP HA之NameNode HA集群配置与应用[超详细]，包括常见问题以及解决方法
NameNode 内存生产配置
weixin_45417821的博客
10-29 2219
1）NameNode 内存计算 每个文件块大概占用 150byte，一台服务器 128G 内存为例，能存储多少文件块呢？ 128 * 1024 * 1024 * 1024 / 150Byte ≈ 9.1 亿 G MB KB Byte 2）Hadoop2.x 系列，配置 NameNode 内存 NameNode 内存默认 2000m，如果服务器内存 4G，NameNode 内存可以配置 3g。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m 3.
八、NameNode多目录配置
风子的博客
05-07 469
我这里演示的是已经使用的集群，所以需要删除data与log文件；如果是初次配置集群不用。 为什么要配置多目录？ NameNode的本地目录配置成多个，且每个目录存放内容相同，增加了可靠性。 具体配置调整如下： （1）在hdfs-site.xml文件中增加如下内容 <property> <name>dfs.namenode.name.dir</name>...
NameNode和SecondaryNameNode——多目录配置（面试开发重点）
caron的博客
04-15 321
1 NN和2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新Fs...
NameNode 与 DataNode 多目录配置
Simple 专栏
04-08 715
Namenode多目录配置 namenode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性。 hdfs-site.xml &lt;property&gt; &lt;name&gt;dfs.namenode.name.dir&lt;/name&gt; &lt;value&gt;file:///${hadoop.tmp.dir}/dfs/name1,file:/...
NameNode与DataNode的多目录配置
叁木大数据
01-01 3181
NameNode多目录配置1.为什么要配置NameNode的多目录？2.配置 1.为什么要配置NameNode的多目录？ NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性 2.配置 1.在hdfs-site.xml文件中增加如下内容 &amp;amp;amp;amp;lt;property&amp;amp;amp;amp;gt; &amp;amp;amp;amp;lt;name&amp;amp;amp;amp;gt;dfs.n
Hadoop3：NameNode和DataNode多目录配置（扩充磁盘的技术支持）
最新发布
Brave_heart4pzj的博客
07-03 1041
Hadoop
namenode多个工作目录解决数据丢失问题
朱智文的专栏
10-07 913
vi hdfs-site.xml dfs.replication 2 dfs.namenode.http.address mina0:50070 dfs.name.dir /home/hadoop/soft/hadoop-2.6.4/name1,/home/hadoop/soft/hadoop-2.6.4/name2 在实际生
生产调优HDFS—多目录
weixin_44966780的博客
12-06 500
生产调优HDFS—多目录 NameNode 多目录配置 1）NameNode 的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性 2）具体配置如下 （1）在 hdfs-site.xml 文件中添加如下内容 <property> <name>dfs.namenode.name.dir</name> <value>file://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.dir}/dfs/name
HDFS namenode元数据信息多目录配置
Ele_sorriu的博客
10-19 2万+
为了保证元数据的安全性，我们一般都是先确定好我们的磁盘挂载目录，将元数据的磁盘做RAID1 namenode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性。 具体配置如下： hdfs-site.xml <property> <name>dfs.namenode.name.dir</name> <value> file:///export...
Hadoop3.3.1 HA配置多个namenode（5个Namenode）详细
hxiaowang的博客
09-27 4060
Hadoop3.3.1 HA配置多个namenode（5个Namenode
NameNode多目录配置、DataNode多目录配置
热门推荐
诗水人间
10-26 14万+
NameNode多目录： hdfs-site.xml <property> <name>dfs.namenode.name.dir</name> <value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2</value&gt...
如何配置namenode
03-27
要配置namenode，需要执行以下步骤： 1. 安装Hadoop：首先需要从Hadoop官网下载并安装Hadoop。 2. 配置hadoop-env.sh：在Hadoop的安装目录下，找到hadoop-env.sh文件并打开。在此文件中，找到JAVA_HOME变量，并将其设置为Java安装的路径。例如： export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ 3. 配置core-site.xml：在Hadoop的安装目录下，找到core-site.xml文件并打开。在此文件中，添加以下配置： <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> 其中，localhost是namenode的主机名，9000是Hadoop默认使用的端口。 4. 配置hdfs-site.xml：在Hadoop的安装目录下，找到hdfs-site.xml文件并打开。在此文件中，添加以下配置： <property> <name>dfs.replication</name> <value>1</value> </property> 其中，dfs.replication表示副本数，这里设置为1。 5. 配置mapred-site.xml：在Hadoop的安装目录下，找到mapred-site.xml文件并打开。在此文件中，添加以下配置： <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 其中，mapreduce.framework.name表示使用的MapReduce框架，这里设置为yarn。 6. 启动Hadoop：在命令行中，输入以下命令来启动Hadoop： $HADOOP_HOME/sbin/start-dfs.sh $HADOOP_HOME/sbin/start-yarn.sh 7. 检查是否正常启动：在浏览器中输入http://localhost:50070/，可以看到Hadoop的Web界面。在此界面中，可以查看namenode的状态和HDFS的文件系统信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值