解决办法在idea中搭建spark环境：Unable to fetch table student. Invalid method name: ‘get_table_req‘；

城南小陌又逢

于 2022-08-09 14:53:47 发布

阅读量1.2k

点赞数

文章标签： intellij-idea java ide spark hive

本文链接：https://blog.youkuaiyun.com/m0_64634260/article/details/126247363

版权

在IntelliJ IDEA中搭建Spark环境时遇到无法获取表student的错误，原因是Hive和Spark版本不兼容。解决方法是更新Spark及其相关依赖，确保与Hive版本匹配。例如，当Hive版本为2.1.1时，匹配的Spark版本为2.4.0。同时，需确保导入正确的MySQL驱动。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

项目场景：

idea中搭建spark环境报错：Unable to fetch table student. Invalid method name: 'get_table_req';

问题描述

Unable to fetch table student. Invalid method name: 'get_table_req';
.......

原因分析：

hive和spark之间版本不兼容的问题

解决方案：

更改spark环境等依赖，匹配自己虚拟机或者本地的hive

我的hadoop版本为2.7.1 hive版本是2.1.1

相匹配的spark是2.4.0

<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>2.4.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.11</artifactId>
        <version>2.4.0</versio

最低0.47元/天解锁文章