hadoop的一个恶心错误

解决Hadoop集群启动异常问题
最新推荐文章于 2023-04-14 12:47:55 发布
原创 最新推荐文章于 2023-04-14 12:47:55 发布 · 156 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

当Hadoop集群启动时，遇到节点无法启动且显示为notavailableyet的情况时，检查并删除/etc/hosts文件中127.0.0.1的记录可以解决问题。这一现象在某些版本的Linux重启后尤为常见。

今早机器被网管重启了，启动hadoop发现节点都启动不了

slave一直是 not available yet,Zzzzz...

 

看了一下master的端口 netstat - lpnt

发现9000端口的IP是127.0.0.1

 

然后把master的/etc/hosts文件里的127.0.0.1删掉以后，重启集群就正常了。。。

 

有些版本的linux重启机器后会在/etc/hosts文件上面加上127.0.0.1，删掉就可以了

Hive【使用篇】01：Hive的基本操作之命令行操作、JDBC方式操作以及Set命令的使用
weixin_40612128的博客
03-05 3065
Hive的基本操作之命令行操作、JDBC方式操作以及Set命令的使用
最近学习hadoop遇到的问题！虽然很小但是很恶心！同时求指教！！！
shaonianguai
07-30 921
首先是 Linux下搭建Hadoop！ 首先贴出一个问题，至今未解决，路过的人可以帮助一下！ 最初的时候比较年轻，第一次安装ssh  设置了密码，而且我在Linux下所有设置的密码都是统一的，然后我安装好了hadoop,在执行start-all.sh命令的时候需要开启ssh，这时候需要我输入密码，但是输入不正确，这是第一点！而后我删除了ssh，重装，想要设置ssh免密码登录，但是一打开ssh就
hadoop问题集：5.hive启动报错com.ibm.icu.impl.ICUBinary.getRequiredData
谁伴我闯荡
01-18 1632
参考：https://www.jianshu.com/p/5ec5a509b5a8 报错： Exception in thread "main" java.lang.NoSuchMethodError: com.ibm.icu.impl.ICUBinary.getRequiredData(Ljava/lang/String;)Ljava/nio/ByteBuffer; at com.ibm.icu...
hadoop的关键进程
apple01010105的博客
06-06 496
hadoop集群中主要进程有 master: NameNode, ResourceManager, slaves: DataNode, NodeManager, RunJar, MRAppMaster,YarnChild 其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建，随着job的完成而终止。它们的作用分别是： ...
hadoop集群搭建与使用
04-14 314
本文涉及到vm的安装、网络互联、免密登录、hadoop集群搭建、java整合Hadoop进行单词统计、去重、流量统计、分区输出、join操作等。以及在此期间出现的错误和解决方案
【HDFS】大数据集群坏盘问题的一种处理实践
Meepoljd的博客
10-18 2048
在规模比较大的HDFS集群里，每天最容易出现的问题便是磁盘问题，我们的大集群1700+的DataNode节点，基本上每天都有磁盘损坏（虽然我也不知道是不是和磁盘的质量有关），有时候是磁盘直接读写错误，有时候是磁盘直接报废，无论怎样，这种情况都需要人工介入处理，如果某几天维护人员都很忙，或者碰到那种恶心的客户天天逮着你做他们的事情，这种坏盘的处理就有可能被搁置。
大数据原生集群 (Hadoop2.X为核心) 本地测试环境搭建三
别人笑我太疯癫，我笑他人看不穿。
11-19 978
本篇安装软件 Hive1.2 Zookeeper3.4 Kafka2.11-0.10 Hive 安装之前我要和新人说个事，这是我很早之前，那个时候工作的公司来了个实习生，有一次聊天，和我说了一句hive是个数据库。。。。。我当时笑笑没说什么，把话题引到其他的地方上去了 所以我想在这里和大数据新人说个事hive不是个数据库!!!!，它只是基于hadoop的一个提供sql化处理数据的工具而已，只是它和数据库长得很像而已，下边我们开始安装，但是我还是要强调一个小问题，就是hive是有集群的，但是我们一般不会去整因
集群搭建系列（十七）dolphinscheduler 小海豚调度
rocky_24的博客
06-17 5222
国产牛逼系列 dolphinscheduler 文章目录国产牛逼系列 dolphinscheduler1 调度工具对比话不多说 直接开干安装包部分 TODO基础搭建解压缩，重命名mysql 依赖 ip 改一下，注释源 postgresql运行 MySQL 初始化脚本运行环境修改一键部署配置文件 conf/config/install_config.conf启动一键部署登录系统 1 调度工具对比 以往使用 azkaban 虽然并发够，但是面临运维问题也很大。 1 大半夜 调度任务挂了，酸爽了，半夜调
Hadoop运维中遇到的问题（持续更新中......）
程序人生
02-05 6021
1. NodeManager不能启动 症状： org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Failed to initialize LocalizationService         at org.apache.hadoop.yarn.server.nodemanager.containermanager.localiz
hadoop修改hostname配置为IP配置
sunjiangangok的博客
05-29 9369
为什么需要host配置？涉及host的配置有哪些？
8.大数据学习之旅——hadoop-Hadoop完全分布式配置
零零天
01-10 282
Hadoop完全分布式配置 关闭防火墙 修改主机名 配置hosts文件。将需要搭建集群的主机全部配置到hosts文件中 192.168.32.138 hadoop01 192.168.32.139 hadoop02 192.168.32.140 hadoop03 配置免密登录 安装jdk 安装zk 配置Hadoop 编辑hadoop-env.sh，并且重新生效 编辑core-site...
一.hadoop入门须知
weixin_34235457的博客
09-26 132
目录： 1.hadoop入门须知 2.hadoop环境搭建 3.hadoop mapreduce之WordCount例子 4.idea本地调试hadoop程序 5.hadoop 从mysql中读取数据写到hdfs   1)基本介绍   hadoop是什么？Hadoop是一个开源的框架，可编写和运行分不是应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个...
hadoop 打印配置变量
好读书，每有会意，便欣然忘食。
08-07 1485
package my.test; import java.util.Map.Entry; import org.apache.hadoop.conf.*;   import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.util.*;   // ConfigPrinter:print all settings and prope
Hadoop源码解析之申请与分配Container
liushahe2012的博客
04-01 2521
本文从源码方面介绍应用程序的AM在NM上成功启动并向RM注册后，向RM请求资源（Container）到获取资源的整个过程， 以及RM内部涉及的主要工作流程。整个过程可看做以下两个阶段的迭代循环： 阶段1：AM汇报资源需求并领取已经分配到的资源。 阶段2：NM向RM汇报各个Container的运行状态，如果RM发现它上面有空闲的资源，则进行一次资源分配，并将分配的资源保存 到对应的数据结构中
Hadoop文件目录中含有‘\’字符的操作问题的解决
weixin_44165973的博客
11-27 1247
文件目录中含有‘\’的问题解决 [root@bigdata-senior01 ~]# hdfs dfs -ls / Found 1 items -rw-r–r-- 3 root 949086 2019-11-27 19:13 /\新建文本文档.txt+root 这时使用hdfs dfs -rm /\新建文本文档.txt+root或者hdfs dfs -rm /\新建文本文档.txt+...
大数据-Hadoop学习笔记03
就问你吃不吃药
03-15 450
hadoop
Hadoop常见错误及解决办法汇总
大讲台内测员的博客
08-31 1886
Hadoop常见错误及解决办法汇总   1，错误一：java.io.IOException: Incompatible clusterIDs 时常出现在namenode重新格式化之后9 `7 k# I: L2 |9 U* @6 d 2014-04-29 14:32:53,877 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode:
解决Hadoop2.7.1运行Wordcount错误的hadoop.dll文件
hadoop.dll是Hadoop在Windows平台上正常运行所必需的本地库文件，Hadoop2.7.1是Hadoop的一个具体版本，Wordcount是Hadoop生态系统中一个非常著名的应用示例，通常被用于教学和测试环境，用于演示如何在Hadoop上运行...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值