hadoop datenode web api接口报：UnknownHostException: mycluster

最新推荐文章于 2024-12-24 14:50:37 发布

原创最新推荐文章于 2024-12-24 14:50:37 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

博客内容讲述了在使用WebAPI调用时遇到datanode返回500错误的问题，客户端通过curl接收到400 Bad Request响应。问题根源在于UnknownHostException。解决方案是更新Hadoop配置文件`/etc/hadoop/hdfs-site.xml`，添加`dfs.client.failover.proxy.provider.mycluster`配置，并针对镜像做相应处理，将修改后的配置挂载到镜像中。HDFS的HDFS和RPC调用在修复后恢复正常。

在web aip调用时，datanode出现500错误，客户端收到

curl -i -T ./install_log.txt -X PUT "http://10.244.2.132:9864/webhdfs/v1/aicore-checker/tmpqmuplstl?op=CREATE&user.name=root&namenoderpcaddress=mycluster&createflag=&createparent=true&overwrite=false"
HTTP/1.1 100 Continue

HTTP/1.1 400 Bad Request
Content-Type: application/json; charset=utf-8
Content-Length: 166
Connection: close

{"RemoteException":{"exception":"IllegalArgumentException","javaClassName":"java.lang.IllegalArgumentException","message":"java.net.UnknownHostException: mycluster"}}

注：hdfs dfs 上传文件正常，java使用rpc调用正常

解决方案

/etc/hadoop/hdfs-site.xml增加dfs.client.failover.proxy.provider.mycluster 配置

<property>
	<name>dfs.client.failover.proxy.provider.mycluster</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

对于镜像已经固定的情况，我们需要把原镜像的/etc/hadoop复制出来，在外面修改后，用挂载目录的形式给镜像内部使用

      containers:
        volumeMounts:	  
        - name: hadoop-etc
          mountPath: /etc/hadoop
      volumes:
      - name: hadoop-etc
        hostPath:
          path: /home/aicore-1.7-update/datanode-etc