hadoop常见问题

1.jps dfs没起来 日志报错File /input/test.txt.COPYING could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and 0 node(s) are excluded in this operation
进行了多次format操作，删除data下文件重新格式化即可。// rm -rf /usr/local/Cellar/hadoop/3.3.3/tmp/*
2.jps没namenode 日志报错 java.io.IOException: There appears to be a gap in the edit log. We expected txid 1, but g
原因是 namenode元数据被破坏，需要修复
恢复一下namenode
hadoop namenode –recover
选择Y
选择c
3.jps没datanode
原因
找到你的hadoop下data/tmp/dfs，里面有name和data两个文件。
进入name，在current里有一个version的文件，记事本打开，复制id，
clusterID 复制 ，再进入到data下的current的version，将复制的id覆盖到clusterID的位置，
重启hdfs 输入jps查看是否出现datanode ,有则修复成功，
没有则重新格式化
（hadoop namenode -format）就好了。
参考 ：https://blog.youkuaiyun.com/qq_58538016/article/details/123966338
4.启动hdfs时没起来超时，报 ssh: connect to host 192.168.31.174 port 22: Operation timed out
可能是网络的IP地址变了 ，请修改本机的IP为固定IP 。 跟hadoop xml配置文件中的IP相一致。
5.hive客户端连接hive报用户不能连接org.apache.hadoop.ipc.RemoteException: User: root is not allowed to impersonate root
修改 core-site.xml文件

hadoop.proxyuser.root.groups
*

<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>

hdfs-site.xml dfs.permissions false 关闭safemod: hdfs dfsadmin -safemode leave 重启hadoop 参考：http://www.wjhsh.net/0xcafedaddy-p-8392029.html 方法二 默认情况下HiveServer2 执行查询时使用的用户是提交查询的用户.但是如果将这个选项设置为false, 查询将会使用运行hiveserver2的用户。 /hive-site.xml hive.server2.enable.doAs false 参考：http://www.manongjc.com/detail/25-jwxiitmwxxpyncm.html 6.Hadoop2.x一次分布式HA启动时 ERROR: Cannot set priority of xxxx process 解决方式 1.sudo chown -R wanghao /usr/local/Cellar/hadoop chmod -R 777 hadoop来修改权限 可以用chown -R root:root hadoop来改为root或你想用的用户 hadoop-env.sh export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root export JAVA_HOME=/root/jdk8/jdk8 //自己的Javahome export HDFS_JOURNALNODE_USER=root export HDFS_ZKFC_USER=root export HADOOP_SHELL_EXECNAME=root

2.查看yarn-env.sh文件，会看到有–add-opens的字眼
将这两行注释，保存文件即可。
参考：https://blog.youkuaiyun.com/yokirin/article/details/104834169
https://blog.youkuaiyun.com/weixin_47677170/article/details/125668673
7.yarn已启动 都没问题但 yan web网页无法访问

<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>0.0.0.0:8088</value>
</property>

再重新启动就可以访问了； IP替换 0000

网上查询了一下IP和0.0.0.0的区别，是否允许外网ip访问的区别

8.语法报parentOffset等，是因为环境变量用的jdk15没配置成功java8
脚本里 java_home 改成绝对路径即可 ，检查各个启动脚本里的java_home 和 config配置文件中的java_home