生产环境Tomcat服务器访问HDFS报错

本文记录了一次在Tomcat服务器上遇到的Kerberos验证错误,详细描述了错误信息和排查过程。问题源于集群配置不正确导致的Kerberos principal无效,通过调整集群IP映射配置成功解决。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

下载Tomcat日志文件 runtime_info.log查看信息:

[WARN ][19-01-11 18:07:19][http-nio-8080-exec-3][*]Exception encountered while connecting to the server : java.lang.IllegalArgumentException: Server has invalid Kerberos principal: hdfs/svldl043.csvw.com@CSVW.COM
[WARN ][19-01-11 18:07:19][http-nio-8080-exec-3][*]Exception while invoking class org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getFileInfo over svldl043.csvw.com/10.122.3.61:8020. Not retrying because failovers (15) exceeded maximum allowed (15)
java.io.IOException: Failed on local exception: java.io.IOException: java.lang.IllegalArgumentException: Server has invalid Kerberos principal: hdfs/svldl043.csvw.com@CSVW.COM; Host Details : local host is: "svlvm128/10.122.31.36"; destination host is: "test043.lhx.com":8020; 
	at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:772)
	at org.apache.hadoop.ipc.Client.call(Client.java:1472)
	at org.apache.hadoop.ipc.Client.call(Client.java:1399)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232)
	at com.sun.proxy.$Proxy108.getFileInfo(Unknown Source)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getFileInfo(ClientNamenodeProtocolTranslatorPB.java:752)
	at sun.reflect.GeneratedMethodAccessor224.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
	at java.lang.reflect.Method.invoke(Unknown Source)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
	at com.sun.proxy.$Proxy109.getFileInfo(Unknown Source)

同样代码部署到测试环境是OK的,初步判断是集群解析问题

#namenode
10.122.3.60 test042.lhx.com
10.122.3.61 test043.lhx.com
10.122.3.62 test044.lhx.com
10.122.3.63 test045.lhx.com

把集群IP映射配置到Tomcat服务器中即可。

### Java 操作 HDFS 报错解决方案 #### Connection Refused 错误处理 当在 WIN10 系统下使用 IDEA 操作 HDFS 文件系统时,可能会遇到 `java.net.ConnectException: Connection refused` 的错误。这通常意味着客户端无法连接到指定的服务端口。应检查如下配置项是否正确: - **Hadoop 集群状态**:确认 Hadoop 集群已经启动并正常运行[^3]。 - **网络连通性**:验证本地计算机与目标服务器之间的网络连接状况良好。 - **防火墙设置**:确保防火墙未阻止必要的通信端口,默认情况下 NameNode 使用的是 8020 或者其他自定义端口号。 - **主机名解析**:核对 `/etc/hosts` 文件中的条目以及 DNS 设置以保证能够正确解析主机名称。 对于后者提到的情况——即应用程序和服务位于不同物理位置,则需考虑跨网段访问权限及路由策略等问题[^2]。 #### 数据复制失败 (Replication Failure) 另一个常见的问题是数据块未能成功复制至预期节点数(`could only be replicated to 0 nodes instead of minReplication`)。此现象多发生在分布式环境部署不当之时;比如主备机间缺乏适当路径规划或存在安全组规则阻碍了相互间的通讯交流。针对这种情况建议采取以下措施来解决问题: - 建立合适的子网划分和静态路由表; - 修改云平台上的实例属性允许ICMP请求通过以便于调试排查网络层面上可能存在的障碍物; - 审查SELinux/AppArmor等强制访问控制系统日志寻找潜在冲突源码片段。 ```bash # 查看当前 SELinux 状态 sestatus # 如果启用则临时关闭它来进行测试(生产环境中谨慎操作!) setenforce 0 ``` #### 太多打开文件 (Too Many Open Files) 最后,“太多已打开文件”的提示往往指向资源泄漏或者超出了操作系统层面设定的最大句柄数量限额。可以通过调整参数值扩大限制范围从而缓解症状表现形式之一的方法就是编辑 limits.conf 添加软硬限制配额给特定用户账号。 ```properties # /etc/security/limits.conf 中加入下面几行内容 * soft nofile 65535 * hard nofile 65535 ``` 此外还应当审查程序逻辑是否存在不合理之处造成不必要的 I/O 请求累积堆积成灾。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值