spark报错java.lang.NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil.hasK

最新推荐文章于 2025-07-13 18:59:35 发布

原创

最新推荐文章于 2025-07-13 18:59:35 发布 · 3.7k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#spark

使用场景：通过spark的Structured Streaming消费kafka中指定topic的数据，将分析结果写入到hbase中

报错：java.lang.NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil.hasKerberosKeyTab(Ljavax/security/auth/Subject;)Z

原因：NoSuchMethod可能是因为项目中混合了多个版本的jar包，需要检查下项目依赖

解决：

1）起初pom.xml

    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
            <!--<scope>provided</scope>-->
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql-kafka-0-10_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
            <!--<scope>provided</scope>-->
        </depende