hadoop的安全问题处理

最新推荐文章于 2024-01-10 09:44:51 发布

最新推荐文章于 2024-01-10 09:44:51 发布 · 199 阅读

文章标签：

#大数据 #java

本文介绍了Hadoop中关于Namenode与Datanode通信配置的常见问题，包括如何通过配置dfs.host解决Datanode与Namenode通信失败的问题，以及如何通过iptables设置防火墙规则来限制对特定端口的访问，并提出了使用独立用户和组来限制Hadoop权限的方法。

1.在namenode下，配置dfs.host,如生效将见到下面的结果

2013-01-17 12:11:34,043 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: dnRegistration = DatanodeRegistration(slave3:50010, storageID=, infoPort=50075, ipcPort=50020)
2013-01-17 12:11:34,068 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.protocol.DisallowedDatanodeException: Datanode denied communication with namenode: slave3:50010
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.registerDatanode(FSNamesystem.java:2539)

2.设置iptables 禁止其他ip 访问 50070、50075 等端口。

3.使用独立的用户及组，将hadoop的权限规定在对应的用户及组上，避免拥有过大的权限