初步启动datanode成功,但是data文件夹没有生成Current

Hadoop 数据节点DataNode异常 使用start-all.sh脚本或者先后执行start-dfs.sh、start-yarn.sh脚本启动Hadoop后,通过jps命令检测DataNode节点进程发现有DataNode进程,数秒后DataNode进程莫名其妙“消失”了,只有Jps、NodeManager两个进程。简而言之就是DataNode进程异常,由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。 阅读详情

集群机器的、/etc/hosts 文件配置成一样很重要。最好使用 scp 复制到各个几点

首先明确以下,我的问题不同于 多数问题(即:统一启动集群时,datacode 无法启动的问题。)

如标题所示,本文问题所指:《成功启动datanode (hadoop-daemon.sh start datanode). 也成功生成 文件夹 /root/hdpData/data/.

但是没有生成 current文件夹》。 也就是这个datanode 并没有加入到 Namenode 同个集群

我的环境:

配置机器:

A(namenode), /root/hdpData/name/current/*  成功

B,C,D 为datanode.,以B机器为例。

了解。B机器启动的过程,需要通过配置文件 向 namenode机器发出请求获取 集群id (cluster_id) 称为请求路径:

(namenode ip + 端口) 定义在core-site.xml

我的:
<property>
<name>fs.defaultFS</name>
<value>hdfs://hdp-01:9000</value>
</property>

。

那么没有生成current 文件夹问题就出现在。

我的粗心,上配置使用 hdp-01 是我的namenode机器的hostname. 我忘记提前加入到 datanode 这台服务器的/etc/hosts 中。因此机器找不到。

vi /etc/hosts 将 ip 匹配 hdp-01.

再重新 启动B机器的 datanode :  hadoop-daemon.sh start datanod.

成功。

这样才请求 namenode 成功,获取和 namenode 一样的集群号

Hadoop遇到的问题 问题1:sbin启动./start-all.sh,jps查看服务,发现没有datanode,namenode 解决:删除掉dfs文件夹中name和data文件夹里的所有内容 去到$HADOOP_HOME/bin下面执行 重启即可 问题2:hadoop集群启动namenode成功,而datanode未启动 解决:修改VERSION文件。 在namenode节点上打开: 进入hadoop-2.4.1/tmp/dfs/name/current/ 打开VERSION: vi VERSION 复制clustre 阅读详情

相关推荐

linux中datanode无法启动【已解决】

目录: 一、问题描述 二、分析原因: 三、解决问题: 一、问题描述 该图中,jps以下但是没有发现datanode,就会给后续操作带来影响,如果你也迫切想解决该问题,请继续往下看,手把手教你哟! 二、问题原因: 出现该问题主要因为:多次格式化NameNode产生的。配置文件时保存的是第一次格式化时的namenode的ID,使得datanode与namenode之间的ID不一致。 三、解决问题: 第一步:找到目录【/apps/hadoop/logs】目录下的【hadoop-wangxin-datanode-

qq_45786391的博客 3071

云服务器搭建Hadoop集群DataNode下没有current文件夹

云服务器搭建Hadoop集群DataNode下没有current文件夹 搭建过程遇到情况说明: 购买云服务器搭建Hadoop集群和VM虚拟机搭建不一样在于像服务器有公网IP和内网IP,所以在配置hosts文件的时候本机hostname绑定内网IP,其他hostname绑定公网IP,即: 内网IP地址 你的hostname 公网IP地址 其他hostname 通俗讲就是: bigdata111配置hosts bigdata111内网IP bigdata111 bigdata112公网IP bigdata112

weixin_42133437的博客 4582

Hadoop | jps后发现datanode没有启动

参考教程 简略:Hadoop中DataNode没有启动解决办法 详细:Hadoop中DataNode没有启动解决办法 主要原因 多次hdfs namenode-format , 导致出现 namenode 的 clusterID 和 datanode 的 clusterID 不一致的情况 解决办法 ①ll ②cd logs ③ 查看log内容 namenode的clusterID cat ...

虎鲸虎鲸 864

Hadoop下jps没有datanode,且data文件夹没有current

首先,我们再配置好hadoop后,利用 ./bin/hdfs namenode -format 格式化一下namenode,再 $ ./sbin/start-dfs.sh $ jps 开启之后,发现没有datanode,按照网上的方法,却发现我的tmp/dfs/data下面没有任何文件,而tmp/hdfs/name/下面有current,所以很是苦恼。 后来查询日志得知logs/下: vim ...

qq_44267691的博客 1万+

用Python的fengwo模块复刻通达信筹码峰(COST/WINNER),选股效率提升10倍

本文介绍了如何使用Python的fengwo模块高效复刻通达信的筹码峰(COST/WINNER)计算,显著提升选股效率。通过C++内核与多线程优化,fengwo模块将传统Python实现的数小时计算压缩至分钟级,解决了量化交易中的性能瓶颈问题。文章详细解析了筹码峰计算原理、fengwo模块的技术架构及实战应用,助力量化开发者构建高效选股系统。

weixin_29062823的博客 438

DC/DC开关电源EMC仿真红宝书

本红宝书系统性介绍开关电源EMC仿真方法,包括仿真原理、仿真思路、仿真工具以及仿真效率提升与仿测一致性的实战经验。从理论到仿真,从仿真到应用,真正帮你实现一文掌握开关电源EMC仿真!全文约14000字,适读人群:开关电源设计、电磁兼容EMC相关从业者,电磁相关专业研究生及CST仿真爱好者等。

电磁学社 2500

Hadoop启动后发现datanode没有启动,data下没有current文件夹

打开usr/hadoop/hdfs/name,发现里面有current文件夹,但usr/hadoop/hdfs/data下空空如也。期间并无报错,然后用start-dfs.sh再次启动Hadoop,也没有报错,但用jps一看,datanode还是没启动起来。把usr/hadoop/tmp整个文件夹删除,再把usr/hadoop/hdfs/name下的文件也全部删除,再次运行。我又想到是不是SSH的问题,我使用的是免密登录,检查一番之后发现也并无异常。意思是我的datanode根本没有生成日志。

qq_51330453的博客 2368

(UE4 4.27) HISM性能优化:从空间剔除到合批渲染的实战解析

本文深入解析了UE4 4.27中HISM(UHierarchicalInstancedStaticMesh)组件的性能优化原理与实战技巧。核心在于利用其N叉树空间结构实现高效的CPU视锥剔除,并结合GPU实例化进行合批渲染。文章详细探讨了从控制叶子节点粒度、平衡剔除精度与渲染效率,到结合LOD系统等关键参数的调优方法,为开放世界或大场景的植被性能瓶颈提供了系统解决方案。

weixin_29015051的博客 328

hadoop集群启动的时候,从机的DataNode没有启动的原因及解决

原因: 由于过多在namenode机器上执行hdfs namenode -format命令,导致DataNode机器上data文件夹下的数据与namenode机器上name文件夹下的数据没有匹配上,这样就无法启动DataNode上的DataNode进程了。 解决: 删除data文件夹下的所有数据,data文件夹的位置可以在hdfs-site.xml配置文件中找到,下面是我的data位置。执行删除命...

amine520的博客 3385

教程 | VeriStand硬件在环仿真测试第一章

这篇是系列文章的第一章,满满的都是干货,感兴趣的话欢迎一起交流探讨。

HUASUITECH的博客 1万+

西门子精致面板TP1200 历史数据(历史数据、审计追踪) 移存到网络路径

TP1200 审计追踪

zhang080602的博客 5772

linux节点启动不成功,Hadoop 启动节点Datanode失败解决

当我动态添加一个Hadoop从节点的之后,出现了一个问题:[root@hadoop current]#hadoop-daemon.sh start datanodestarting datanode, logging to /usr/local/hadoop1.1/libexec/../logs/hadoop-root-datanode-hadoop.out[root@hadoop~]#jps...

weixin_42117116的博客 1989

UE5实战:如何用Mesh Shader优化你的游戏场景渲染(附性能对比)

本文深入探讨了在UE5中利用Mesh Shader优化游戏场景渲染的实战方法。通过对比传统渲染管线与GPU Driven Pipeline,详细阐述了Mesh Shader如何通过任务着色器和网格着色器两阶段并行处理,实现更精细的meshlet级剔除,从而显著降低Draw Call和GPU带宽,提升渲染性能。文章附有具体的性能对比数据与代码示例,为开发者优化高复杂度场景提供了有效路径。

sunny的博客 297

启动hadoop集群没有datanode节点

使用start-dfs.sh启动hdfs后只有namenode,没有datanode。 原因:配置集群式进行了多次格式化,导致两者的id不一致,所以启动namenode是没有启动datanode。 解决办法:可以在VMware李自己找,但在xftp里面寻找更为简便。 1:找到你的hadoop下data/tmp/dfs,里面有name和data两个文件。 2:进入name,在current里有一个version的文件,记事本打开,复制id, 3:再进入到data下的current的ve.

qq_58538016的博客 1万+

2026年紫光同创数字IC笔试试卷带答案

FPGA基础知识与设计要点摘要 本文围绕FPGA与数字IC设计核心概念,通过单选题、波形分析题、多选题和简答题形式,系统梳理了以下关键知识点: FPGA基础架构 查找表(LUT)是实现组合逻辑的基本单元(题1) CLB包含LUT、触发器和进位链,后者加速算术运算(题6,10) 布局布线优化是减少关键路径延迟的核心方法(题7) 时序分析要点 建立时间(时钟沿前数据需稳定)与保持时间(时钟沿后需保持)的定义(题2,简答1) 亚稳态成因及两级同步器处理跨时钟域信号的方法(多选题1,波形题5) 特殊设计技术 异步复

Open 114

全局注意机制 GAM | Global Attention Mechanism: Retain Information to Enhance Channel-Spatial Interactions

全局注意机制 GAM

Coding... 2577

启动hadoop时,datanode没有启动成功

hadoop中的datanode启动失败

lxn的专栏 1070

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

hadoop启动后jps没有datanode

Hadoop 启动后使用JPS查看没有DataNode 在伪分布式运行hadoop,发现DataNode没有启动: 一般由于多次格式化NameNode导致。在配置文件中保存的是第一次格式化时保存的namenode的ID,因此就会造成datanode与namenode之间的id不一致。 发现错误之后在hadoop所在位置中找到logs路径: 找到datanode日志文件打开。 找到错误的地方 复制namenode clusterID。 找到配置文件core-site.xml 找到data目录

m0_56731259的博客 9410

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

配置了三台datanode,启动hdfs集群后只有一台启动成功

配置了三台datanode,启动hdfs集群后只有一台启动成功… 本人是大数据初学者,集群规划为hadoop01(namenode、datanode),hadoop02(datanode),hadoop03(datanode),之前集群配置都没问题,hive,spark都ok;但过了段时间后start-dfs.sh启动hdfs集群时只能启动一台datanode,而且关掉再启动时启动成功的那台datanode不确定,一会儿是hadoop01,一会儿是hadoop02,一会儿是hadoop03。想想没什么误操作

ddzzz_的博客 3243

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

解决hadoop启动后没有datanode

出现上述问题可能是格式化两次hadoop,导致没有datanode 解决办法是:在所有datanode节点上找到/root/hadoop/data里面的current文件夹删除 然后从新执行一下 hadoop namenode -format 再使用start-dfs.sh和start-yarn.sh 重启一下hadoop 用jps命令看一下就可以看见datanode已经启动了 ...

Alice_xiaochen的博客 2123

Hadoop中DataNode没有启动解决办法

链接: https://www.cnblogs.com/mtime2004/p/10008325.html 一般由于多次格式化NameNode导致。在配置文件中保存的是第一次格式化时保存的namenode的ID,因此就会造成datanode与namenode之间的id不一致。 查看从节点机器hadoop中datanode的log文件 , 拉到最后 , 报错如下 路径:/usr/local/hado...

m0_37162256的博客 1567

hadoop2.7集群初始化之后没有DataNode的问题

修复hadoop2.7集群初始化之后没有DataNode的问题

程序员欣宸的博客 4012

hadoop集群启动后从机datanode没有启动

问题 当我启动 hadoop 集群时,通过命令 jps 查看进程发现并没有 datanode 进程,说明 datanode 启动失败。 [root@slave1 ~]# jps 19826 Jps 19673 NodeManager 解决办法 删除掉主机和从机的 data 文件,data文件目录在 hdfs-site.xml 中配置 <property> <name>dfs.datanode.data.dir</name> <value>/h

AKA石头 1900

datanode无法启动的原因以及解决办法

1.datanode无法启动的原因有很多,出现问题首先应该去看日志来定位问题所在,日志一般在logs文件夹下 2.看一下我datanode启动失败的日志 2019-11-23 20:56:25,106 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <reg...

蘑菇睡不着 5235

hadoop启动后没有datanode解决方案

进入hadoop目录下的dfs文件夹 然后进入name下的current文件夹,查看VERSION文件 找到clusterID,复制 然后再退回到dfs文件夹下,进入data下的current文件夹,覆盖VERSION中的clusterID 然后source一下VERSION文件 最后sh start-all.sh 重新启动一下hadoop,datanode成功启动 ...

MercyFreedom的博客 2280
上一篇: pycharm添加miniconda (python3.7)
下一篇: 使用pyhdfs实现 Hdfs 客户端
Axel_Fr
博客等级 码龄11年 5粉丝 37原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值