记一次Spark Kerberos的故障解决

最新推荐文章于 2024-04-04 16:26:10 发布

原创

最新推荐文章于 2024-04-04 16:26:10 发布 · 8.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #kerberos

本文记录了一次由于Livy Server配置问题导致Spark AM在Kerberos环境中启动失败的故障解决过程。通过分析Spark AM日志中GSSException错误，发现Kerberos ticket校验失败。经过检查发现，Hadoop配置文件目录被改动，影响了Spark AM加载正确的配置。修复HADOOP_CONF_DIR并重启Livy Server后，问题得到解决。总结强调线上环境变更的影响评估和故障发生前信息的重要性。

有同事反馈，Livy Server启动的所有Spark AM失败。Livy启动的Spark AM默认会enableHiveSupport，且使用$LIVY_HOME/conf/livy.conf的如下配置作为spark.yarn.keytab和spark.yarn.kerberos。

livy.server.launch.kerberos.keytab

livy.server.launch.kerberos.principal

由于不知道报错信息，查看Spark AM log，有所发现：

Attempting to login to Kerberos using principal: ...

...

GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]

说明spark.yarn.principal和spark.yarn.keytab已经设置，但是校验Kerberos ticket失败了。根据错误信息，对照Spark-Hive的代码HiveClientImpl.scala.

// Set up kerberos credentials for UserGroupInformation.loginUser within
// current class loader
if (sparkConf.contains("spark.yarn.principal") && sparkConf.contains("spark.yarn.keytab")) {
  val principalName = sparkConf.get("spark.yarn.principal")
  val keytabFileName = sparkConf.get("spark.yarn.keytab")
  if (!new File(keytabFileName).ex