
Hadoop
一些关于Hadoop的心得分享
S1901
山东这块大数据找不到啥理想工作,转测试啦
展开
-
hadoop集群配置ssh免密
在3台机器上执行产生自己的公钥:ssh-keygen -t rsa按照默认值回车确定(如果询问是否overwirte,输入y覆盖掉原来的公钥即可)将每台机器的公钥拷贝给每台机器,注意下面的指令要求3台机器都要执行:ssh-copy-id node01ssh-copy-id node02ssh-copy-id node03......原创 2022-01-06 19:10:12 · 2674 阅读 · 0 评论 -
scp 远程拷贝文件提示:Permission denied, please try again. 的解决办法
我在主机master上远程拷贝 filename 文件到 slave1主机上,出现下面的错误提示:qiao@master:~$ scp /etc/filename root@slave2:/etc/ root@slave2’s password:Permission denied, please try again.解决方法如下:使用指令tail /var/log/secure -n 20查看系统的日志文件:发现问题的所在:Authentication refused: bad owners原创 2022-01-06 19:00:55 · 4647 阅读 · 0 评论 -
集群配置ssh免密,仍需要密码
今天在root用户下启动hadoop集群时,提示输入密码。但是我在普通用户下启动集群不需要密码。经过查询,使用指令tail /var/log/secure -n 20查看系统的日志文件:发现问题的所在:Authentication refused: bad ownership or modes for file目录的属主和权限配置不当,查找资料得知:SSH不希望home目录和~/.ssh目录对组有写权限,通过下面命令修改权限:chmod 7555 /root修改后再配置一遍免密已经密钥分发,.原创 2022-01-06 18:58:01 · 1458 阅读 · 1 评论 -
hadoop常见问题 no datanode to stop
这篇文章比较好,记录一下。方便以后查找。但是不管怎么样,重点还是要多看日志和报错信息!现象:当停止Hadoop的时候发现no datanode to stop的信息。原因1:每次namenode format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空tmp一下的所有目录。这里有两种解决方案:1转载 2021-11-12 11:03:26 · 2650 阅读 · 1 评论 -
ORG.APACHE.HADOOP.SECURITY.ACCESSCONTROLEXCEPTION: PERMISSION DENIED: USER=
参考:https://www.cnblogs.com/YouXiangLiThon/p/10345186.html在 hdfs-site.xml 总添加参数:<property> <name>dfs.permissions.enabled</name> <value>false</value></property>然后重启hadoop集群,如果有配置好slave可以:stop-dfs.shstart-dfs原创 2021-10-15 21:15:39 · 415 阅读 · 0 评论 -
关于log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.Mutabl
参考:https://www.cnblogs.com/huxinga/p/6868074.html五楼老哥的正解,成功解决了问题!(好评)原创 2021-10-15 20:54:50 · 693 阅读 · 0 评论