关于hadoop多次格式化之后，无法查看date文件

最新推荐文章于 2024-07-29 21:51:36 发布
最新推荐文章于 2024-07-29 21:51:36 发布
阅读量536 收藏 5
点赞数
CC 4.0 BY-SA版权
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_69722036/article/details/133594646
文章讲述了在Hadoop中处理NameNode与DatanodeID冲突的方法，涉及日志分析、配置修改和重启服务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一般由于多次格式化NameNode导致。在配置文件中保存的是第一次格式化时保存的NameNode的ID，因此就会造成NataNode与NameNode之间的id不一致

1.首先进入 hadoop 目录下的logs文件夹查看日志

cat hadoop/logs/hadoop-root-datanode-hadoop02.log (要根据你们的安装路径来)

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1ODE0MTA4,size_16,color_FFFFFF,t_70#pic_center
出现以下报错信息，可以明显看到 namenode 和 datanode 的clusterID不一致
watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1ODE0MTA4,size_16,color_FFFFFF,t_70#pic_center

2.这时要记录下 namenode的 clusterID 并复制下来（上图中的黑框部分）

3.然后找到自己配置的hadoop中DataNode节点信息存放的位置（系统默认的位置是 /tmp/hadoop-${username} 或者 用find / -name VERSION）

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1ODE0MTA4,size_16,color_FFFFFF,t_70#pic_center
20200912090816443.png#pic_center
修改一下 clusterID

4.重启 hadoop

start-all.sh
L-6-0709
关注
解决Hadoop集群多次进行格式化导致DataNode不启动不能正常储存文件
h20010320的博客
09-13 2501
格式化命令只需要在Hadoop集群初次启动前执行一次即可，后续重复启动时就不需要执行格式化了。如果再次执行格式化，集群会出错，不能正常存储文件。 报错信息如下 21/09/13 06:05:29 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hxg.txt._COPYING_ could only be replicated to 0
基于Hadoop和SparkSQL大数据日志分析与可视化设计
m0_72732711的博客
07-21 583
编号 功能名称 功能描述 输入内容 输出内容 1 数据清洗 将数据进行清洗，从大量的数据中筛选出重要的字段 原始日志文件 需要的数据格式 2 数据格式转换 对数据格式进行转换，转换成格式文件 第一次清洗后的日志 Parquet格式文件 3 数据分析 对格式文件进行读取并分析 Parquet文件 分析统计结果 4 数据库存储 将分析和统计结果写入到数据库中 分析统计结果 数据库数据 5 可视化数据读取处理 将mysql数据库中的数据读并转换成前端需要的格式 Mysql数据库表数据 前端需要的数据块 6 数据可
hadoop多次格式化解决办法
2301_77640888的博客
10-13 2594
配置文件core-site.xml 和hdfs-site.xml中指定目录下的文件（在如例地找 /root/wwr/hadoop-3.1.4/etc/hadoop）hadoop首次启动需要格式化，这时若是因为一些原由导致格式化不止一次，就会导致主点之间互相不识别，就会导致一些节点不会启动（如图是没问题的）
Hadoop HA 高可用集群格式化NameNode后启动没有DataNode
zjh_746140129的博客
09-05 4478
笔者在搭建好Hadoop HA 高可用集群启动时报错后采用格式化NameNode后，再次启动没有DataNode，后面是3种解决方案。 报错信息： 2018-08-24 11:29:43,322 INFO org.apache.hadoop.hdfs.server.common.Storage: Using 1 threads to upgrade data directories (dfs...
hadoop 中 HDFS 由于多次格式化引起的 nanenode 与 datanode 启动异常
ZHAOLEI5911的博客
01-21 1204
问题介绍 1 发现问题 解决问题 注意1.问题介绍刚开始是由于启动 Hbase 时 HMaster 进程总是出现几秒种后便消失，虽然主机的 namenode 和 slave 的datanode 进程中由显示，但当查看他们的日志时仍然看到了如下错误。 （/usr/local/cluster/hadoop/logs/hadoop-hadoop2-nanenode-out.log 文件） （由于特殊原
Hadoop集群之集群格式化多次该怎么办？
weixin_45659364的博客
10-18 2717
在搭建Hadoop集群时，很有可能就一不小心多进行了格式化操作，一旦进行多次格式化操作，会导致集群出现一些问题，解决方法如下： 1.所有的虚拟机全都删除logs，dfs，tmp文件 2.在主结点上重新格式化 这样便很简单的解决了问题 ...
【Hadoop NameNode元数据恢复攻略】：格式化后数据丢失的终极预防与解决方案
[【Hadoop NameNode元数据恢复攻略】：格式化后数据丢失的终极预防与解决方案](https://img-blog.csdnimg.cn/9992c41180784493801d989a346c14b6.png) # 1. Hadoop NameNode元数据概述 Hadoop NameNode是Hadoop...
hive一次加载多个文件_Hive的基本操作
weixin_39642981的博客
11-19 893
内容提要l Hive及beeline的命令行操作l jdbc操作Hivel Hive函数 3.1 Hive命令操作3.1.1 Hive的基本操作我们长久以来习惯于传统的关系型数据库，并且结构化查询语言(SQL)相对来说也比较容易学习，那么能否将类似于关系型数据库的架构应用到Hadoop文件系统，从而可以使用类SQL语言查询和操作数据呢？Hive应运而生。Hive提供了一个被称为Hive查询语言(H...
Hadoop完全分布式配置
yandao的博客
04-18 6350
1.虚拟机环境准备 1.1 克隆虚拟机 1.2. 修改克隆虚拟机的静态IP 机器名 静态IP master 192.168.121.151 slaver1 192.168.121.152 slaver2 192.168.121.153 [root@master Desktop]# vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 #输入以下内容 DEVICE=eno16777736 TYPE=Ethernet ONB
HADOOP内容总结（Apache Hadoop）。
weixin_45027256的博客
07-29 879
Hadoop是一个由Apache基金会开发的分布式系统架构，主要解决海量数据的存储和海量数据的计算问题。Hadoop1.xMapReduce计算+资源调度MapReduce计算Yarn资源调度HDFS数据存储HDFS数据存储Common辅助工具Common辅助工具Hadoop Dsitributed File System，简称HDFS，是一个分布式文件系统。主要包含三个节点，分别为NameNode、DataNode和Secondary NameNode。
hadoop 多次格式化format namenode 导致节点不能启动解决
热门推荐
qq_41059374的博客
06-14 2万+
1.  具体配置     我用的是vmware配的虚拟机，一个master，2个slave2. 遇到的问题hadoop 多次格式化format namenode 导致节点不能启动，出现这个问题的原因是多次格式化会导致节点的clusterID不一致3. 解决方法    我是参考的stackoverflow的方法，有一些不同           https://stackoverflow.com/qu...
解决hadoop格式化namenode两次导致datanode不能正常启动问题
weixin_46964107的博客
03-30 4608
解决hadoop格式化namenode两次导致datanode不能正常启动问题：删除tmp文件夹并重新格式化即可
关于Hadoop多次格式化后，无法启动datanode
nu_li_de_a_ye的博客
10-16 2533
在进行文件系统格式化时，会在NameNode节点的data目录中保存一个current/VERSION文件，记录当前的clusterID。导致集群中DataNode与NameNode中clusterID不同，从而导致集群的DataNode无法正常启动。接着打开你出现问题的那个文件 我的是cd /export/servers/hadoop-2.7.4/tmp/dfs/data，把你的namenode的clusterID复制下来。打开后找到里面的current/VERSION。就可以看到出现的问题在哪。
Hadoop多次格式化后上传不了文件
qq_46183012的博客
09-06 199
找到 %HADOOP_HOME%/etc/hadoop/core-site.xml 中配置的 hadoop数据的存储目录。这个时候先把 namenode、datanode、resourcemanager、nodemanager停止。重新启动 namenode、datanode、resourcemanager、nodemanager。hadoop搭建成功后只需要执行一次格式化，如果多次执行格式化会导致上传不了文件。删除掉这个存储目录，然后重新格式化。
Hadoop多次格式化后如何解决
weixin_51341142的博客
11-23 5575
产生原因 我们在配置hadoop中的hdfs时，会设置元数据的存储位置，如图所示 要想解决此问题，先停止所有启动的服务 stop-all.sh 然后删除上图画出来的配置文件，这里三台机器都要删，最后进入hadoop目录删除logs就可以重新格式化了 ...
hadoop多次格式化后出现datanode无法正常启动的解决办法
newfelen的专栏
11-07 4430
hadoop 多次执行命令： hadoop namenode -format后，发现再次启动hadoop后，datanode节点无法正常启动，出现错误代码如下：
hadoop多次格式化后，导致的问题
cl723401的博客
09-29 9338
1.hadoop namenode多次格式化可能导致的问题    1.1 各个单独结点可以起来（jps有进程提示）但是用hdfs dfsadmin -report去查各项结果都为0。    1.2使用start-dfs.sh只启动了namenode没有启动datanode，且-report的结果也全0 遇到这个问题我开始怎么也解决不了，只好从头重新安装配置了一次lunix和hadoop，成功...
Hadoop启动后jps发现没有DateNode解决办法
m0_74972727的博客
10-04 1576
找到hadoop配置文件。
在linux下hadoop集群 DataNode不能启动的情况
11-11 717
注意：服务器的时间需要统一。正常情况下是不允许多次格式化的。这只是在测试环境上才可以这样玩。生产环境需要把VERSION里面的数据拷贝到datanode里面.正常启动后是这样的。最后重启把namenode和datanode里面数据删除掉。重新格式化，再启动hadoop集群，就解决了。这里也没有节点数据，而是空的，这个图是正常的。找了很久原因，发现是datanode没有启动。一、格式化文件之后，重新启动hadoop集群，发现 DataNode不能启动了。
hadoop配置了很多次集群模式却还是显示单机模式，该怎么办
最新发布
04-01
# 格式化HDFS（仅在首次启动时执行） hdfs namenode -format # 启动HDFS和YARN start-dfs.sh start-yarn.sh ``` 若仅运行`hadoop`命令而未启动服务，集群模式不会生效[^1]。 --- ### 7. 验证集群状态 - **检查...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值