hadoop集群搭建常见错误

最新推荐文章于 2024-06-20 15:25:47 发布

原创最新推荐文章于 2024-06-20 15:25:47 发布 · 582 阅读

1 ·

CC 4.0 BY-SA版权

Hadoop 专栏收录该内容

7 篇文章

订阅专栏

本文详细列举了Hadoop集群部署与运行过程中常见的错误，包括防火墙设置、主机名与IP配置、ssh配置、多用户启动问题、配置文件修改、源码编译、进程冲突等，并提供了具体的解决步骤。

常见错误及解决方案

1.防火墙没关闭、或者没有启动YARN

*INFO client.RMProxy: Connecting to ResourceManager at hadoop02/192.168.200.135:8032*

2.主机名称配置错误

3.IP地址配置错误

4.ssh没有配置好

5.多用户启动集群不统一

6.配置文件修改不细心

7.未编译源码

*Unable to load native-hadoop library for your platform... using builtin-java classes where applicable*

8.不识别主机名称

解决办法：
（1）在/etc/hosts文件中添加192.168.200.135 hadoop02
（2）主机名称不要起特殊名称

9.DataNode和NameNode进程同时只能工作一个。

10.jps发现进程已经没有，但是重新启动集群，提示进程已经开启。原因是在linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。

11.jps不生效。

原因：全局变量hadoop java没有生效。解决办法：需要source /etc/profile文件。

12.8088端口连接不上

cat /etc/hosts
注释掉如下代码

\#127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4

\#::1     hadoop02

综上：
有问题要重做
就先关闭集群
删除logs和tmp
然后格式化
再次重启集群

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

抿一口可乐

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

大数据领域Hadoop集群搭建的详细步骤

AI天才研究院

05-08

921

Hadoop是Apache基金会开发的分布式计算框架，核心组件HDFS（分布式文件系统）和YARN（资源管理系统）支撑了海量数据的存储与计算。本文聚焦Hadoop 3.3.6版本的集群搭建，覆盖单Master多Slave的基础架构（生产环境可扩展为HA高可用架构），适用于企业级数据仓库、日志分析、离线计算等场景。核心概念：解析Hadoop架构与组件职责；环境准备：操作系统、网络、JDK配置；集群搭建：配置文件修改、节点分发、启动流程；验证与调优：健康检查、性能参数调整；

hadoop集群搭建与使用

04-14

314

本文涉及到vm的安装、网络互联、免密登录、hadoop集群搭建、java整合Hadoop进行单词统计、去重、流量统计、分区输出、join操作等。以及在此期间出现的错误和解决方案

参与评论您还未登录，请先登录后发表或查看评论

hadoop分布式集群搭建及其常见问题

￡依旧那个山￡

09-27

533

hadoop分布式集群的搭建这里我用3台虚拟机搭建hadoop集群——分别为：mini1、mini2、mini3。hadoop版本为：hadoop-2.8.4版本。下载地址：hadoop-2.8.4密码：nt81 配置三台虚拟机主机映射：修改/etc/hosts文件 #主机IP 映射名称 192.168.111.32 mini1 192.168.111.34 mini2 192.168...

搭建Hadoop集群——易出现问题及解决办法

weixin_46328436的博客

09-28

2530

一.学习目标了解虚拟机的安装与克隆熟悉Linux系统的网络配置和SSH的配置掌握Hadoop集群的搭建和配置掌握Hadoop集群的测试熟悉Hadoop集群的初体验的操作二.搭建 1.创建虚拟机 1.1 下载安装VMware Workstation 下载安装VMware Workstation （为了解决版本不兼容的问题，建议安装版本高一点） 1.2创建虚拟机并虚拟机启动初始化并克隆 1.3Linux 系统网络配置进入编辑点击虚拟网络编辑器选择NAT模式，点击下方更改设置此

Hadoop集群的配置及常见问题总结

03-27

NULL 博文链接：https://shirley-ren.iteye.com/blog/1174622

搭建hadoop集群的常见问题及解决办法

qq_44273739的博客

09-05

1625

全称为Hadoop distributed file system, 是一个分布式文件系统，通过目录树来定位文件。适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不能改变。优点：高容错性：通过增加副本的形式，提高容错性；副本丢失后会自动补全适合处理大数据：数据规模达到PB级别，文件数量达到9亿个可以构建在廉价机器上缺点：不适合低延时数据访问，比如毫秒级的存储数据。无法高效对大量小文件进行存储，小文件存储的寻址时间超过了读取时间不支持并发写入，文件随机修改。

Hadoop HA高可用集群搭建及常见问题处理

kw-home

02-13

1322

最近研究了下公司的hadoop集群并模仿搭建了一个在本地测试使用的hadoop集群。本文介绍下详细的搭建过程以及各种常见问题的处理解决。 1 , 前期准备 1.1 , 准备Linux环境，配置虚拟机网络环境，修改虚拟机IP地址（最好使用第一种配置，简单且不容易出错）注意，修改之前建议使用 root 管理员权限登陆，这样会避免特别多问题，等集群搭建好之后在用普通用户登...

【Hadoop集群搭建】集群崩溃处理及启动时常见报错解决办法

布丁椰奶冻的博客

06-20

1286

1. 集群崩溃处理 1.1 杀死进程 1.2删除目录（logs/和hadoopdata/） 1.3重新初始化集群 1.4重新启动集群 2. 启动时常见报错在运行程序测试 MapReduce 计算框架时报错如下

精选资源

Hadoop3.2.0集群搭建常见注意事项

01-09

在搭建Hadoop 3.2.0集群时，有几点重要的注意事项需要关注，以确保...如果你对腾讯云上的Hadoop集群、基于ZooKeeper的高可用集群搭建，或者使用Docker部署Hadoop环境感兴趣，可以查阅相关教程，以获取更深入的指导。

大数据技术——hadoop集群搭建出现的问题

qq_53142796的博客

03-15

878

hadoop集群配置与搭建所出现的问题和解决方案。

hadoop配置集群常见问题

科大人的博客

03-01

673

1）防火墙没关闭、或者没有启动 yarn INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032 2）主机名称配置错误 3）ip 地址配置错误 4）ssh 没有配置好 5）root 用户和 hadoop 两个用户启动集群不统一 6）配置文件修改不细心 7）未编译源码 Unable to...

hadoop搭建及常见问题

season的专栏

10-25

1418

这是本人在完全分布式环境下在Cent-OS中配置Hadoop-0.20.203.0时的总结文档，但该文档也适合其他版本的Linux系统和目前各版本的Hadoop(Hadoop-0.20之后的版本配置文件hadoop-site.xml被拆分成了三个core-site.xml，hdfs-site.xml和mapred-site.xml，这里会说明0.20后的版本中如何配置这三个文件)。

Hadoop搭建常见问题总结

xcz8023的博客

09-28

1887

Hadoop搭建常见问题总结

Linux 搭建Hadoop集群错误锦集

weixin_34166847的博客

07-31

357

一、Hadoop集群配置好后，执行start-dfs.sh后报错，一堆permission denied zf sbin $ ./start-dfs.sh Starting namenodes on [master] master: chown: changing ownership of '/home/zf/hadoop/hadoop-2.9.1/logs': Operation no...

hadoop集群搭建注意要点

qq_36912167的博客

03-26

268

1.是否做ssh免密登陆 2.每台主机的配置是否一样 3.配置文件是否正确最最核心，很多情况下就是因为配置文件不正确导致的问题。（注释：本文的jdk是通过rpm方式安装的故使用/usr/java/default作为目录） 4./etc/profile文件是否配置$ JAVA_HOME,$ HADOOP_HOME还有他们的PATH 5.核心配置文件core-site.xml <configuration> <property> <name>f

Hadoop环境搭建及常见问题解决（保姆级教程）

最新发布

05-15

### Hadoop集群搭建过程中的常见问题及解决方案 #### 1. **集群ID不匹配** 当重新初始化HDFS时，可能会生成新的集群ID，这可能导致DataNode无法启动。这是因为DataNode仍使用旧的集群ID，而NameNode已切换至新ID。解决方法有两种： - 方法一：保留现有数据，在`~/dfs/name/current/VERSION`中找到NameNode的ClusterID，并将其覆盖到所有DataNode节点上的`~/dfs/data/current/VERSION`文件中的ClusterID[^1]。 - 方法二：彻底清理并重新格式化HDFS。具体操作包括停止整个集群、删除存储HDFS数据块的目录（如`hadoop/tmp/`）、清除日志文件夹（如`logs`），最后执行`hadoop namenode -format`命令完成格式化[^4]。 --- #### 2. **SSH免密登录失败** 如果在配置SSH免密登录时遇到`Permission denied (publickey)`错误，则可能是公钥未正确导入目标主机或权限设置不当所致。解决措施如下： - 确认`.ssh/id_rsa.pub`已被追加到远程服务器的`.ssh/authorized_keys`文件中。 - 检查`.ssh`及其内部文件的权限是否满足要求，通常应为`chmod 700 ~/.ssh && chmod 600 ~/.ssh/*`[^4]。 --- #### 3. **YARN服务未能正常启动** 有时即使HDFS成功运行，YARN可能因某些配置缺失而导致其ResourceManager或NodeManager不可用。针对此情况可采取以下步骤调整配置文件`mapred-site.xml`以及引入必要的环境变量定义[^5]: ```xml <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=/path/to/hadoop</value> </property> <property> <name>mapreduce.map.env</name> <value>HADOOP_MAPRED_HOME=/path/to/hadoop</value> </property> <property> <name>mapreduce.reduce.env</name> <value>HADOOP_MAPRED_HOME=/path/to/hadoop</value> </property> ``` --- #### 4. **HDFS元数据丢失或损坏** 假如尝试访问HDFS资源时报错提示找不到指定路径或者显示为空白列表，很可能是由于之前的操作误删了重要的元数据记录。恢复手段之一便是依据备份机制还原这些关键信息；如果没有事先做好准备的话，则需按照前述提到的方法重置整个分布式文件系统结构[^3]。 --- #### 5. **端口冲突引发的服务异常** 部分情况下，默认使用的RPC通信端口号被其他程序占用也会干扰到Hadoop各组件之间的交互协作效率低下甚至完全中断联系。对此类现象可通过编辑相应XML配置文档更改默认监听地址与端口编号来规避潜在风险。例如对于Namenode而言可以在core-site.xml里设定自定义值： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://your-host-name:9000</value> </property> </configuration> ``` 同时也要记得同步更新slaves清单内的成员机器所对应的连接参数以保持一致性[^3]。 --- ### 结论以上列举了几种典型的Hadoop集群部署期间可能出现的技术难题连同它们各自的应对策略供参考学习之用。实际操作当中还需结合具体情况灵活运用各种工具和技术加以改进优化从而构建更加稳定高效的生产级大数据平台架构体系。