datanode无法启动 或 DFS Used% ：100 % 或 Live Nodes

最新推荐文章于 2024-12-02 13:16:15 发布
原创 最新推荐文章于 2024-12-02 13:16:15 发布 · 2.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #大数据

本文详细介绍了如何修改HDFS配置文件hdfs-site.xml中的dfs.data.dir属性，创建目录结构，并调整replication参数以正确配置Hadoop集群。通过执行一系列命令，最终成功启动datanode进程。

配置文件hdfs-site.xml中的dfs.data.dir属性设置的目录有误，我修改为/home/grid/hadoop1.1.2/hdfs/data，在/home/grid/hadoop1.1.2/目录下执行以下命令，

mkdir hdfs

mkdir hdfs/data

chmod 755 hdfs/data -该属性设置不对的话，日志中会有错误

同时把replication的值改为2（之前置为1，启动成功时只有一个datanode）

重启：

stop-all.sh

start-all.sh

使用jps查看datanode，这时候datanode进程已经成功启动。

查看http://192.168.1.201:50070显示。

HDFS-web界面介绍
qq_45769990的博客
10-18 2452
HDFS-Web界面介绍 目标：掌握如何使用HDFS的Web浏览器了解集群 登录HDFSWeb浏览器 打开浏览器输入 http://node01:50070 （node01是NameNode所在的节点，或IP） Overview:集群概述 Datanode:：数据节点 datanode-volume-failures: 数据节点卷故障 snapshot: 快照 startup-progress: 启动进度 Started：启动 Version：版本 Compiled：已编译 Cluster ID:
hadoop搭建--datanode信息为0，Live datanodes 为0
weixin_36343850的博客
09-09 2794
背景 hadoop集群启动后，无有效的datanode节点，表现形式为： 使用hdfs dfsadmin -report查看节点的情况时，都是0 xf@master01:~/hadoop-2.6.5$ hdfs dfsadmin -report Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) DFS Used%: NaN% Under replicated bloc
hadoop上传文件报错
vinsuan93的专栏
04-18 2210
报错原因：could only be replicated to 0 nodes instead of minReplication (=1).  There are 2 datanod 1.首先检查hadoop各结点的防火墙是否已经关闭，没有关闭，使用service iptables stop ，并关闭开机启动，chkconfig iptables off； 2.检查是否离开安全模式，没有离
2024年最全hadoop 常用命令
2401_84166896的博客
05-03 1478
datanode 使用率占满&配置容量显示为0的问题【DFS Used%: 100.00% & Configured Capacity: 0 (0 B)】尝试多种方法、最终原因是 slave 中配置的 datanode 节点 hostname 配置成了 localhost 而导致的问题。vi salve 把配置的 datanode 主机名配置为 hadoop01 后，重启 datanode 服务，问题就解决了。– shell_cmd: 先拷贝到 hdfs, 再从 hdfs 路径 load。
DFS Used%: NaN%问题
weixin_30363981的博客
07-13 1077
一.问题描述： [root@master sbin]# hdfs dfsadmin -report Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) DFS Used%: NaN% Under replicated blocks: 0 Blo...
Hadoop hdfs界面：Hadoop Non DFS Used大小问题
TURING.DT
11-17 6506
最近研究hadoop hdfs 中NonDFSUsed容量是什么，Non DFS Used为非hadoop文件系统所使用的空间，比如说本身的linux系统使用的，或者存放的其它文件。 有的时候你会发现HDFS UI界面上显示的Non DFS Used很大，但实际的服务器上都没有那么大的空间了，看看下边的解释： Non DFS Used = Configured Capacity
如何查看存储系统信息？Configured Capacity、DFS Remaining、Non DFS Used、DFS Used、Live Nodes分别表示什么？
11-01
5. **Live Nodes**: 活跃的DataNode节点数，也就是那些正常运行并且能够响应客户端请求的节点。 要查看这些信息，你可以运行如下命令（假设使用的是Hadoop 2+版本）： ```shell hdfs dfsadmin -report ``` 这将显示...
如何解决Hadoop集群环境下DataNode无法连接NameNode问题
Bob Liu的程序人生
09-22 9159
本文总结了在Hadoop集群环境下，DataNode无法连接NameNode的问题：2017-02-13 05:43:01,540 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master-vm/10.220.33.37:9000，重点在于问题的排除思路和方法。该问题出现的运行环境为Ubuntu 16.05 TLS, Hadoop 2.7.3环境下。
hadoop搭建--所有datanode信息为0，live nodes 为0；
To-nemy
03-13 3845
—————hadoop搭建–所有datanode信息为0，live nodes 为0怎么办？？？ 当hadoop配置完成后，然后使用启动命令启动集群，打开50070和8088网页后，发现没有任何信息，50070页面显示为这个样子。 输入下面命令， [root@dev9106 bin]# ./hadoop dfsadmin -report 显示 Config...
HDFS基础操作
weixin_43203897的博客
02-23 460
HDFS基础操作 HADOOP文件系统（对文件进行操作） bin hadoop的二进制的执行文件 sbin 封装的bin目录的二进制执行文件的脚本，集群管理脚本（start-dfs.sh start-yarn.sh） 启动hdfs start-dfs.sh stop-dfs.sh 启动yarn start-yarn.sh stop-yarn.sh 启动单实例的一个进程（单独启动一个datano...
Hadoop中正常启动了datanode但管理界面却却显示0个datanode节点或者只有本机的一个datanade，DFS Used显示0（100%）
Cludy Sky的博客
09-16 7334
Hadoop中正常启动了datanode但管理界面却却显示0个datanode节点或者只有本机的一个datanode，DFS Used显示0（100%） 日志显示： Problem connecting to server: master/192.168.216.10:9001
non dfs used 和dfs remaining区别
chuanjiaoye5017的博客
05-14 875
DFS Used hadoop文件系统所使用的空间Non DFS Used 非hadoop文件系统所使用的空间，比如说本身的linux系统使用的，或者存放的其它文件 转载于:http...
Hadoop基础操作（一）
数据攻城狮的博客
10-21 3889
文章目录查看Hadoop集群的基本信息查询集群的计算资源信息上传文件到HDFS目录下载文件删除文件小任务实现 本文及后续文章大多在Hadoop伪分布式环境下操作 查看Hadoop集群的基本信息 当HDFS文件系统完成启动时，在服务器集群上启动了相关的监控服务。HDFS的监控服务，默认是通过名称节点（NameNode）的端口50070来访问。 在本机浏览器的地址栏中（注意不是搜索框）输入http://master:50070/(前提是在你电脑上配置好了host文件) host文件位置C:\Windows\Sy
HDFS中Non DFS Used使用过大
心向，往之
11-06 6852
问题描述： 在namenode页面发现，好多主机的Non DFS Used使用非常大，大大减少了HDFS磁盘剩余可用容量，存在异常 通常，Non DFS Used = 配置的容量 - 剩余容量 - DFS使用容量 而配置容量 = 总容量 - 预留空间（总容量为磁盘的总大小，预留空间为默认的5%） 所以，Non DFS used=（总容量-预留空间）- 剩余容量 - DFS使用容量 ...
DFS Used:存储过大时，您在 /var/spool/mail/root 中有新邮件
最新发布
a15997219373的博客
12-02 344
您在 /var/spool/mail/root 中有新邮件。1.点击hadooop右边的垃圾桶。通过以上命令，删掉内容。
df-h显示使用率百分之百但是used显示大小没有Size显示的大
weixin_44147924的博客
03-01 749
正常ext4或者ext3文件系统会保留部分空间，在格式化文件系统的时候默认会保留百分之五的空间。使用tune2fs -l /dev/sda1 | grep "Reserved block count"命令可以查询。使用命令tune2fs –m xxx /dev/yyy调整大小，其中xxx是保留的百分比，设置为0即不保留，yyy是操作存储设备）。建议使用默认保留值，这样当存储满的时候还会有百分之五的存量可以供使用而不是立即发生异常。
HDFS文件命令
码农的技术专栏
03-18 2013
HDFS在设计上仿照Linux下的文件操作命令，所以对熟悉Linux文件命令的小伙伴很好上手。另外在Hadoop DFS中没有pwd概念，所有都需要全路径。（本文基于版本2.5 CDH 5.2.1） 列出命令列表、格式和帮助,以及选择一个非参数文件配置的namenode。 123456hdfs dfs -usagehadoop dfs -usage ls hadoop dfs -hel
hadoop 常用命令
sunny05296的博客
03-26 1032
datanode 使用率占满&配置容量显示为0的问题【DFS Used%: 100.00% & Configured Capacity: 0 (0 B)】尝试多种方法、最终原因是 slave 中配置的 datanode 节点 hostname 配置成了 localhost 而导致的问题。vi salve 把配置的 datanode 主机名配置为 hadoop01 后，重启 datanode 服务，问题就解决了。-- load后会在配置文件决定的固定目录下产生一个表名对应的目录，目录下为对应的数据文件。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值