HDFS 通过MR或IO流操作时 kerberos认证配置一切正确缺认证异常失败,往往忽悠了一个很重要的问题。

在使用HDFS进行MR或IO流操作时,遇到Kerberos认证异常,提示Client无法通过TOKEN或KERBEROS认证。错误日志显示多次尝试失败,并指出在通过URI获取信息并绑定Configuration的步骤中,互信未建立导致阻挡。解决方案是直接使用Configuration对象获取FileSystem,避免使用带URI的构造方法,从而成功建立连接。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

19/05/20 11:09:25 WARN ipc.Client: Exception encountered while connecting to the server : org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]
19/05/20 11:09:25 WARN ipc.Client: Exception encountered while connecting to the server : org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]
19/05/20 11:09:25 INFO retry.RetryInvocationHandler: java.io.IOException: DestHost:destPort XXXXXXXXXX:8020 , LocalHost:localPort XXXXXXXXXX:0. Failed on local exception: java.io.IOException: org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS], while invoking ClientNamenodeProtocolTranslatorPB.getFileInfo over XXXXXXXXXX:8020 after 1 failover attempts. Trying to failover after sleeping for 598ms.
19/05/20 11:09:26 WARN ipc.Client: Exception encountered while connecting to the server : org.apache.hadoop.security.AccessControlException: Client cannot au

在Ambari集成Flink 1.9.3的过程中,正确配置环境变量和Kerberos认证是确保集群安全和Flink服务正常运行的关键步骤。首先,需要在集群的所有节点上设置Flink的环境变量,确保系统能够识别Flink的安装位置和执行路径。 参考资源链接:[Ambari集成Flink1.9.3详细步骤](https://wenku.csdn.net/doc/5mfpcggmm9?spm=1055.2569.3001.10343) 对于环境变量配置,可以在每台机器的`/etc/profile`用户级的`.bashrc`文件中添加如下内容: ```bash export FLINK_HOME=/path/to/your/flink安装目录 export PATH=$PATH:$FLINK_HOME/bin ``` 之后,执行`source /etc/profile``source ~/.bashrc`来激活环境变量的更改。 接下来是Kerberos认证配置,这通常涉及到集群的安全设置,确保Flink集群中的服务可以安全地进行身份验证和授权。在Ambari界面中,你需要配置Kerberos相关的服务属性,这包括但不限于: - 配置Kerberos主体和密钥表(Kerberos Principal and KeyTab)。 - 设置集群级别的Kerberos主体属性,比如YARN、HDFS等。 - 确保Flink服务与Kerberos集成,这可能需要在Flink配置文件中指定Kerberos主体属性,并且确保所有服务都使用相同的认证机制。 完成这些步骤后,重启Ambari服务和Flink服务,以便新的配置生效。在进行这些操作,请注意检查所有服务的状态和日志,以确保配置正确无误。 通过这些细致的操作,你可以确保Ambari管理下的HDP集群能够成功部署并运行Apache Flink 1.9.3,同保持集群的高安全性。如果需要更深入的指导和完整的操作程,你可以参考这份资料:《Ambari集成Flink1.9.3详细步骤》。这份文档不仅覆盖了环境变量和Kerberos认证的设置,还提供了从准备资源到最终启动Flink服务的完整集成指南。 参考资源链接:[Ambari集成Flink1.9.3详细步骤](https://wenku.csdn.net/doc/5mfpcggmm9?spm=1055.2569.3001.10343)
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值