hadoop的安全问题处理

iteye_21199

于 2013-01-17 14:04:00 发布

阅读量191

点赞数

文章标签：大数据 java

本文介绍了Hadoop中关于Namenode与Datanode通信配置的常见问题，包括如何通过配置dfs.host解决Datanode与Namenode通信失败的问题，以及如何通过iptables设置防火墙规则来限制对特定端口的访问，并提出了使用独立用户和组来限制Hadoop权限的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.在namenode下，配置dfs.host,如生效将见到下面的结果

2013-01-17 12:11:34,043 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: dnRegistration = DatanodeRegistration(slave3:50010, storageID=, infoPort=50075, ipcPort=50020)
2013-01-17 12:11:34,068 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.protocol.DisallowedDatanodeException: Datanode denied communication with namenode: slave3:50010
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.registerDatanode(FSNamesystem.java:2539)

2.设置iptables 禁止其他ip 访问 50070、50075 等端口。

3.使用独立的用户及组，将hadoop的权限规定在对应的用户及组上，避免拥有过大的权限