docker安装hadoop集群遇到的一些问题

本文总结了Hadoop和Hive在启动、初始化过程中遇到的问题及其解决方案。包括Hdfs命令找不到、NodeManager进程冲突、Hive元数据初始化错误以及Hive连接和HDFS安全模式问题。通过修改环境变量、杀掉冲突进程、删除非法字符和退出安全模式,可以成功解决这些问题。

1.进入hadoop镜像对应的容器内,执行Hdfs命令,显示没找到hdfs: command not found

解决方案:在/etc/profile文件内

原来是export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

改成export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

2./usr/local/hadoop/sbin目录调用start-all.sh,启动过程提示Slave1: nodemanager is running as process 226. Stop it first.

解决方案:

1.先在slave或masterKill掉对应进程 Kill 226

2.调用stop-all.sh

这二步都做了,再调用start-all.sh启动就正常了

3.Hive初始化元数据报Illegal character entity会提示在哪一行

./schematool -initSchema -dbType mysql

原因就是在conf/hive-stite.xml对应行那里有个 把他删掉即可

用vim +行数 hive-sitem.xml跳到所在行

4.Hive初始化元数据报

Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set

解决方案:在/etc/profile里加了一行

export PATH=$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin

然后source profile重新运行该文件

然后再重新初始化元数据就可以了。

5.用hive命令准备进入Hive时,报了两个错

1.连接不了hadoopMaster,这个在启动hadoop(haddop目录/sbin ./start-all.sh)就好了

2.无法创建Cannot create directory /tmp/hive. Name node is in safe mode

这个是因为我hadoop之前设置进入了安全模式,所以用hdfs dfsadmin -safemode leave 退出安全模式就可以了

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值