复盘hadoop集群建立的错误

原创已于 2023-09-26 20:51:02 修改 · 610 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #大数据 #分布式

于 2023-09-26 19:17:03 首次发布

本文讲述了在初始化元数据时遇到的WstxEOFException，修复方法是纠正yarn-site.xml中的配置错误；启动Hive时遇到连接被拒绝，原因是防火墙问题；执行建表和插入数据时卡住，疑因内存不足，但调整yarn.xml未解决问题。

1.在初始化元数据时报错

从报错信息中看到这段关键信息

Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxEOFException: Unexpected EOF; was expecting a close tag for element <configuration>
 at [row,col,system-id]: [35,0,"file:/opt/server/hadoop-3.1.1/etc/hadoop/yarn-site.xml"]

退回到hadoop文件夹，编辑yarn-site.xml文件

检查发现是少打了<configuratio>

重新编辑

保存退出

返回到bin文件夹

再次格式化

成功

2.启动hive时连接被拒绝

错误的关键代码

Exception in thread "main" java.lang.RuntimeException: java.net.ConnectException: Call From server/192.168.226.128 to server:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

访问时被拒绝

尝试两个办法

关闭防火墙和重启hadoop

发现是因为关闭了hadoop集群导致的，启动再尝试