spark读取hive表数据实操

最新推荐文章于 2025-03-10 18:42:48 发布

kjdsgh

最新推荐文章于 2025-03-10 18:42:48 发布

阅读量2.7w

点赞数 2

分类专栏： spark 文章标签： spark hive

本文链接：https://blog.youkuaiyun.com/kjdsgh/article/details/75006960

版权

本文介绍了在Spark1.6、Hive1.2.1和Hadoop2.6.4环境下，如何读取Hive表数据。关键步骤包括添加spark-hive_2.10依赖以创建HiveContext，引入MySQL驱动连接元数据，以及配置hive-site.xml文件，确保元数据库正确设置。随后，展示了具体读取Hive表数据的代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

环境:spark1.6 hive1.2.1 hadoop2.6.4
1.添加一下依赖包
spark-hive_2.10的添加为了能创建hivecontext对象

    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-hive_2.10</artifactId>
      <version>1.6.1</version>
    </dependency>