关于namenode和datanode闪退问题的解决方案之一（hdfs dfs -put 不能使用的原因之一）

原创 已于 2023-04-15 12:21:27 修改 · 786 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hdfs #hadoop #大数据 #运维 #hive

于 2023-04-14 20:03:59 首次发布

事情是这样的，今天打开hive准备进行分区表操作 结果传输本地文件到集群时出问题：

然后尝试用hdfs dfs -put上传

发现不好使  上网搜一搜

上传文件到 HDFS 失败可能有多种原因。

首先，检查 HDFS 是否可用，以及是否具有足够的空间存储上传的文件。可以使用 hadoop fs -df -h 命令来查看 HDFS 的空间使用情况。

其次，检查上传的文件路径是否正确，并且是否具有读写权限。如果没有正确的读写权限，则需要使用 hadoop fs -chmod 命令来更改文件权限。

最后，还要检查网络是否正常。如果网络不正常，可能会导致上传失败。可以使用 ping 命令检查网络连接是否正常。

逐级检查 最后一看jps  datanode消失了！！！

解决方案：

停止当前集群

stop-all.sh

进入Hadoop目录下找到core-site.xml

最低0.47元/天 解锁文章
Hadoop运行中NameNode闪退和运行mapreducer时卡在Running job.....
08-18 2480
开始安装Hadoop时 第一次成功启动 包括MapReducer程序也能成功运行。后来不知道什么原因 进入了Safe mode即使退出了安全模式照样不能对HDFS进行任何修改操作，索性hdfs namenode -format格式化一下，连启动都无法启动了，修改NameNode和DataNode的clusterID一致后 虽然修改HDFS问题解决了，但是运行任务时总是卡在了Running job
Hadoop datanode 闪退问题
weixin_52116589的博客
03-04 487
hadoop jps
datanode启动后闪退_解决了一个Greenplum启动失败的问题
weixin_39524741的博客
11-11 351
今天有个其他项目的同事求助，说是他们项目的Greenplum启动不了，让我远程帮忙看看。由于前一阵子我自己也遇到过启动失败的问题并解决了，因此就答应了下来。 首先连上VPN，登录服务器，切换到gpadmin用户，通过.bash_profile文件找到greenplum的安装目录和master文件路径。然后开始检查日志，查看$MASTER_DATA_DIRECTO...
Hadoop dfs -put 失败
haitongz ||思考改变世界，技术让世界更美好
03-11 4698
haitongz@ubuntu0:~/hadoop$ ./bin/hadoop dfs –put  … 出现如下错误信息：put: org.apache.hadoop.security.AccessControlException: Permission denied: user=zanxibi, access=WRITE, inode="":root:supergroup:rwxr-xr-x 是一个权限问题。 Solusion： haitongz@ubuntu0:~/hadoop$ su
【HDFS篇10】DataNode相关概念
FocusBigData博客
07-09 685
答应我一次做好一件事情就可以了 DataNode相关概念 DataNode工作机制 一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。 心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的.
使用 hdfs dfs -put 报错 org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test/a.txt._C
qq_18304615的博客
08-29 1834
原因：可能是多次格式化 解决方法： hadoop dfsadmin -reportDEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command for it.Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B
Hadoop系列（一）——身体是革命的本钱 HDFS体系结构（NameNode、DataNode）详解
BigData_Hubert的博客
08-21 8144
hadoop文件读取实例中yarn的作用是什么样的？ 要想理解hadoop文件读取的过程，除了理解YARN还需要提前了解一下hadoop 中NameNode和DataNode的原理和功能。 NameNode NameNode在内存中保存着整个文件系统(hdfs)的名字空间(namespace）和文件数据块的地址映射(Blockmap)。整个HDFS可存储的文件数受限于NameNode的内存大小。 它的功能如下： NameNode负责文件元数据信息的操作以及处理客户端的请求 NameNode管理HDFS文件
任务描述 本关任务：HDFS命令实战 相关知识 Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。 1.HDFS基本操作命令 1.1 启动HDFS服务。 1.使用start-dfs.sh命令启动 root@evassh-10644553:~# start-dfs.sh root@evassh-10644553:~# 2.使用JPS命令查看是否启动成功 root@evassh-10644553:~# jps 从截图中我们可以看到NameNode和DataNode服务已经启动成功。 1.2 help 命令 功能： 查看命令的帮助文档 root@evassh-10644553:~# hdfs dfs -help 1.3 ls 命令 功能：显示目录信息 root@evassh-10644553:~# hdfs dfs -ls / 可以看到找到一个/user文件 1.4 mkdir 命令 功能：在 hdfs 上创建目录 1.在根目录的 user 文件夹下创建 stu01 文件夹 root@evassh-10644553:~# hdfs dfs -mkdir /user/stu01 2.使用 ls 命令查看，可以看到出现了 stu01 文件夹： root@evassh-10644553:~# hdfs dfs -ls /user 1.5 put 命令 功能：上传 Linux 系统中的文件到 HDFS 文件系统的指定目录 1.首先使用 vi 命令在 linux本地编辑一份数据文件 输入命令：vi stu01.txt root@evassh-10644553:~# vi stu01.txt 按 i键进入编辑模式，左下角出现--INSERT--字符后，输入以下内容， 234 5678 Hadoop 然后按ESC 键，左下角--INSERT--字符消失后，在英文输入状态下输入 :wq ，回车保存退出文件。 2.将刚刚创建的stu01.txt文件上传到HDFS上面 root@evassh-10644553:~# hdfs dfs -put stu01.txt /user/stu01 3.使用 ls 命令查看，可以看到出现了stu01.txt文件 root@evassh-10644553:~# hdfs dfs -ls /user/stu01 1.6 cat 命令 功能：显示文件内容 root@evassh-10644553:~# hdfs dfs -cat /user/stu01/stu01.txt 1.7 text 命令 功能：以字符形式打印一个文件的内容 root@evassh-10644553:~# hdfs dfs -text /user/stu01/stu01.txt 1.8 cp 命令 功能：从 hdfs 的一个路径拷贝 hdfs 的另一个路径 1.查看HDFS上的根目录下的内容 root@evassh-10644553:~# hdfs dfs -ls / 2.查看HDFS上的/user/stu01下的内容 root@evassh-10644553:~# hdfs dfs -ls /user/stu01 3.将/user/stu01下的stu01.txt拷贝到根目录下 root@evassh-10644553:~# hdfs dfs -cp /user/stu01/stu01.txt / 4.再次查看HDFS上的根目录下的内容 root@evassh-10644553:~# hdfs dfs -ls / 从上面的图中可以看出文件已经被复制到了HDFS的根目录下。 1.9 mv 命令 功能：从 hdfs 的一个路径拷贝 hdfs 的另一个路径 1.在HDFS上面创建一个新的目录 root@evassh-10644553:~# hdfs dfs -mkdir /user/stu02 root@evassh-10644553:~# hdfs dfs -ls /user 2.查看HDFS上的根目录下的内容 root@evassh-10644553:~# hdfs dfs -ls / 3.将跟目录下的stu01.txt移动到/user/stu02下 root@evassh-10644553:~# hdfs dfs -mv /stu01.txt /user/stu02 4.再次查看HDFS上的根目录下的内容 root@evassh-10644553:~# hdfs dfs -ls / 5.查看/user/stu02下的内容 root@evassh-10644553:~# hdfs dfs -ls /user/stu02 从上面的图中可以看出文件已经被移动到了/user/stu02的根目录下。 1.10 rm 命令 功能：删除 hdfs 文件或文件夹 1.将HDFS上面的/user/stu01/stu01.txt文件删除 root@evassh-10644553:~# hdfs dfs -rm /user/stu01/stu01.txt root@evassh-10644553:~# hdfs dfs -ls /user/stu01 回显示结果为空，则正确。 2.将HDFS上面的/user/stu01/文件夹删除 root@evassh-10644553:~# hdfs dfs -rm -r /user/stu01 root@evassh-10644553:~# hdfs dfs -ls /user 显示如上图则成功。
最新发布
10-01
该命令会启动 NameNode、DataNode 和 SecondaryNameNode 等 HDFS 相关的服务。 ### 查看帮助文档 使用 `hdfs dfs -help` 命令可以查看 HDFS 命令的帮助文档，获取各个命令的详细信息。 ```bash hdfs dfs -help ``` ...
Hdfs(七) 常用命令
技术博客
08-17 864
用法：hdfs dfs -mv URI [URI ...] <dst> 或 hdfs dfs -rm [-f] [-r |-R] [-skipTrash] URI [URI ...]用法：hdfs dfs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>用法：hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>用法：hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI]
HDFS的DataNode启动了又频繁退出问题
低头敲代码的博客
11-20 1524
问题： 使用命令脚本启动hadoop之后，用jps命令查看节点进程发现有DataNode进程，但是一段时间之后就不见了，就是DataNode进 程异常，由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。   解决：      1.查看DataNode节点日志（注意如果没有配置hadoop日志路径默认在$HADOOP_INSTALL/logs目录下，也就是安装目录的 ...
namenode意外退出-journal
记录工作所遇问题及个人概念理解
06-13 325
namenode报错相关：flush failed for required journal
启动Hadoop时，DataNode启动后一会儿自动关闭的原因和解决办法
qq_43519651的博客
08-31 3462
查看datanode节点的$HADOOP_HOME/logs/hadoop-xxxx-datanode-xxxx.hadoop.log，发现 java.io.IOException: Incompatible clusterIDs in /home/hadoop/cloud/hadoop-2.7.3/tmp/dfs/data: namenode clusterID = CID-faa1bd...
分区表无法查询手动put进hdfs的数据问题
men子烦高的烂笔头
12-11 3543
向hive表对应hdfs中新建目录，put数据后，在hive命令行查询，查不到put进分区的数据，下面记录处理方法： 分区既然是HDFS目录，那就可以通过hdfs put命令直接向HDFS添加分区。然而，元存储拥有所有表的元数据，它不会自动识别这些直接被添加到HDFS的分区。Hive提供了命令MSCK REPAIR TABLE tableName;，可以自动地更新元存储来恢复分区。如果基
HIVE外部表删除重建指定HDFS目录后查询不到数据
数据库
05-22 4555
HIVE外部表删除重建指定HDFS目录后查询不到数据，怎么办 删除了外部表，没有删除hdfs文件 重建了外部表又关联到之前的hdfs目录之后，select查询却没有数据 需要MSCK REPAIR TABLE+tablename，之后查询，数据就回来了。 MSCK REPAIR TABLE命令是做啥的 MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 hive有个服务叫metastore，
记录处理hdfs put失败的过程
qq_39276701的博客
06-22 1222
在搭建好hadoop集群后，在本地执行hdfs dfs -put 命令报错 File /test01/1.txt._COPYING_ could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and 0 node(s) are excluded in this operation. 后来查看了一下本地的进程 发现主节点没有启动datanode导致失败 去hadoop软件下面修改了.
hadoopHA（高可用）搭建中容易遇到的问题（一），DataNode反复掉，NameNode起不来
weixin_59640446的博客
11-16 2475
1、DataNode起来后反复掉 反复掉我本人遇到的情况是： 由于我的datenode掉了之后我不明白原因，在没改任何东西的情况下对namenode进行了格式化，导致/opt/module/hadoop/data/tmp/dfs 中 data和name两个文件中current/下的VERSION文件中的版本号不一致，直接导致了datanode进程不起或起来就掉。 文件中就是这样的，一般是用namenode中的 clusterID 复制后 直接粘到d...
hadoop集群的namenode崩溃恢复模拟测试
lllgggglt的专栏
09-16 910
1、将secondarynamenode配置在一台datanode上 2、在master上kill掉namenode进程，然后
hive修改字段后查询不了数据
SW_LCC的博客
11-01 2368
情况描述 hive版本为: apache-hive-2.1.0 hadoop版本为: apache-hadoop-2.6.0-cdh-5.13.3 修改添加两个字段删除一个字段，但跟日志文件数据是一一对应的。 发现修改后，在hive中用mapreduce查询这两个新加的字段，值为null。 而用hive中用spark引擎却可以找到字段的值。 hive修改字段 通过alert table table...
Hive中分区表及陷阱
weixin_33805557的博客
03-06 1039
Hive中分区表及陷阱 分区表 分区表实际就是对应hdfs文件系统上的的独立的文件夹，该文件是夹下是该分区所有数据文件。 分区可以理解为分类，通过分类把不同类型的数据放到不同的目录下。 分类的标准就是分区字段，可以一个，也可以多个。 分区表的意义在于优化查询。查询时尽量利用分区字段。如果不使用分区字段，就会全部扫描。 在查询是通过where子句查询来...
评论 9
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

菜鸟安安

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值